Mistral AI 发布数学推理模型 Mathstral 7B
Mistral AI 发布专攻 STEM 的数学推理模型 Mathstral 7B，基于 Mistral 7B，在 MATH 上得分 56.6%、MMLU 上得分 63.47%。
#推理
#推理
Mistral AIAI 评分
Hugging Face Blog精选AI 评分
NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 做两阶段微调，先学自然语言链式推理，再用 GPT-4 生成的工具集成推理数据训练模型调用 Python REPL。
推荐理由：NuminaMath 团队复盘了夺冠方案的两阶段微调、SC-TIR 解码与内部验证集设计，可供做数学推理微调的人参考。
OpenAI NewsAI 评分 从 GPT-4 中提取概念
OpenAI 用可扩展稀疏自编码器的新技术，自动识别出 GPT-4 计算过程中的 1600 万个模式。
Hugging Face 为 Intel Gaudi 提供更快的辅助生成支持
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，通过草稿模型生成 K 个 token 再由目标模型评估，对大型 Transformer 模型通常可带来约 2x 加速。
Hugging Face 推出 Open CoT Leaderboard，衡量大模型链式推理增益
Hugging Face 发布 Open CoT Leaderboard，不评模型绝对准确率，而是对比有无链式推理提示下的准确率差值 Δ。该榜单覆盖 LogiQA、LSAT 等 AGIEval 任务，目前实现 Classic 与 Reflect 两种提示策略，Mixtral-8x7B-Instruct-v0.1 已参与评测。
Mistral 发布开源模型 Mixtral 8x22B，采用 Apache 2.0 许可
Mistral 发布最新开源模型 Mixtral 8x22B，采用稀疏 Mixture-of-Experts 架构，141B 参数中仅激活 39B，以 Apache 2.0 许可开放。
推荐理由：原文给出 Mixtral 8x22B 的激活参数、上下文窗口与开源许可，读者可据此判断其成本与部署取舍。
Mistral 发布旗舰模型 Mistral Large 与 Mistral Small
Mistral AI 发布新旗舰文本生成模型 Mistral Large，可通过 la Plateforme 和 Azure 使用，Azure 是其首个分发合作伙伴。
推荐理由：Mistral 官方给出新旗舰模型的基准对比与 Azure 分发路径，可据此判断其 API 生态位置。
Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家模型（SMoE）。该模型总参数量 46.7B，但每个 token 只使用 12.9B 参数，因此在同等速度与成本下运行，推理速度比 Llama 2 70B 快 6 倍，并在多数基准上匹配或超过 GPT3.5。
推荐理由：官方给出 Mixtral 8x7B 的稀疏 MoE 架构与推理成本数据，可据此判断开源模型的性价比取舍。
Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数的 Mistral 7B，采用 Apache 2.0 许可，可无限制使用并支持本地、云端（AWS/GCP/Azure）及 HuggingFace 部署。
推荐理由：Mistral 7B 以 Apache 2.0 开源并给出与 Llama 2 系列的逐项对比，读者可据此判断小参数模型的性价比位置。
OpenAI News精选AI 评分 OpenAI 用过程监督提升数学模型推理能力
OpenAI 训练了一个模型，通过奖励推理的每个正确步骤（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。相比结果监督，过程监督除了提升性能，还带来对齐上的好处，即直接训练模型产出被人类认可的链式推理。
推荐理由：OpenAI 用过程监督替代结果监督训练数学模型，并说明这一方式在链式推理对齐上的作用。
如何训练你的第一个 Decision Transformer
Hugging Face 发布教程，教你用 transformers 库从零训练一个离线 Decision Transformer，让 HalfCheetah 在 Gym 环境中奔跑。
Hugging Face 深度强化学习课程：PPO（近端策略优化）原理与 PyTorch 实现
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization（PPO），通过计算新旧策略的概率比并将其裁剪在 [1−ϵ,1+ϵ] 区间内，避免策略更新过大、提升训练稳定性。
Nyströmformer：用 Nyström 方法以线性时间和内存近似自注意力
Nyströmformer 通过 Nyström 方法近似标准自注意力，将时间和内存复杂度从 O(n²) 降至 O(n)。它不直接对 softmax 矩阵采样，而是从 query 和 key 中用分段均值构造 landmark，仅需 32 或 64 个 landmark 即可在 n=4096 或 8192 的长序列上取得与标准自注意力及其他高效注意力机制相当的性能。
Hugging Face：用 TensorFlow 和 XLA 加速文本生成，最高快 100 倍
Hugging Face 的 transformers 库在 TensorFlow 下现可通过 XLA 编译文本生成，速度最高提升 100 倍，甚至快于 PyTorch。该功能需 transformers >= 4.21.0，支持采样、贪心解码、Beam Search 及 temperature、max_new_tokens 等参数控制。
Hugging Face 深度强化学习课程：Advantage Actor Critic (A2C)
Hugging Face 深度强化学习课程 Unit 7 讲解 Advantage Actor Critic（A2C），一种结合基于策略与基于价值方法的混合架构，通过 Actor 控制智能体行为、Critic 评估动作好坏来降低 Reinforce 中蒙特卡洛采样带来的高方差。课程使用 Stable-Baselines3 在 PyBullet 机器人环境中训练双足步行者和蜘蛛两个智能体行走。
用 Deep Q-Learning 玩 Space Invaders：Hugging Face 深度强化学习课程第三单元
Hugging Face 深度强化学习课程第三单元讲解 Deep Q-Learning，用神经网络替代 Q-table 来近似每个动作的 Q 值，并训练智能体玩 Space Invaders 等 Atari 环境。
Hugging Face 深度强化学习课程：Q-Learning 入门（第一部分）
Hugging Face 深度强化学习课程更新第二单元第一部分，讲解基于价值的方法，并区分蒙特卡洛与时序差分学习。内容涵盖状态价值函数、动作价值函数与贝尔曼方程，为后续 Q-Learning 算法及 Deep Q-Learning 打基础。
OpenAI News精选AI 评分 OpenAI 构建 Lean 神经定理证明器，解出部分数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能够解出多道高难度高中数学奥赛题，包括来自 AMC12 和 AIME 竞赛的题目，以及两道改编自 IMO 的题目。
推荐理由：OpenAI 用 Lean 神经定理证明器解出 AMC12、AIME 及两道改编自 IMO 的题目，可了解形式化数学推理的早期进展。
OpenAI NewsAI 评分 OpenAI 如何用分层强化学习算法学习高层动作
OpenAI 开发出一种分层强化学习算法，能学习可解决多种任务的高层动作，从而快速求解需要数千个 timestep 的任务。该算法应用于一组导航问题时，自动发现了向不同方向行走和爬行的高层动作集合，使智能体能够快速掌握新的导航任务。
OpenAI News精选AI 评分 OpenAI 详解 Dota 2 自对弈训练结果
OpenAI 发文说明其 Dota 2 结果：在算力充足时，自对弈能把机器学习系统的表现从远低于人类水平提升到超人水平。该系统在一个月内从勉强与高排名玩家打平，进步到击败顶尖职业选手，此后仍在持续提升。OpenAI 指出，监督式深度学习系统的上限取决于训练数据集，而自对弈系统中可用数据会随智能体变强而自动改善。
推荐理由：OpenAI 用 Dota 2 结果说明自对弈在充足算力下能把系统从远低于人类提升到超人水平。