TII 发布 Falcon Mamba 7B：首个强性能无注意力 7B 模型
阿布扎比技术创新研究院（TII）发布 Falcon Mamba 7B，采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定，以 TII Falcon Mamba 7B License 1.0 开放，可在 Hugging Face 生态中使用。
推荐理由：原文给出 Falcon Mamba 的架构取舍、训练数据与两组基准对比，可据此判断无注意力架构在长序列上的位置。
#开源/仓库
#开源/仓库
Hugging Face Blog精选AI 评分
Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型家族，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版）、安全分类器系列 ShieldGemma 以及覆盖 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由：Google 一次性放出 Gemma 2 2B、ShieldGemma 与 Gemma Scope，读者可据此了解小模型端侧部署与安全过滤的配套方案。
Mistral AI精选AI 评分
Mistral AI 与 NVIDIA 联合发布 12B 模型 Mistral NeMo
Mistral AI 与 NVIDIA 联合发布 12B 模型 Mistral NeMo，支持最高 128k tokens 上下文窗口，以 Apache 2.0 许可开放预训练基座和指令微调 checkpoint。
推荐理由：Mistral 与 NVIDIA 联合发布的 12B 模型给出 128k 上下文和 Apache 2.0 权重，读者可据此判断它能否直接替换现有 Mistral 7B 部署。
Mistral 发布 Codestral Mamba 代码模型，采用 Mamba 架构并开源权重
Mistral AI 发布 Codestral Mamba，这是一个基于 Mamba 架构的代码模型，具备线性时间推理能力，权重以 Apache 2.0 许可开放下载。
推荐理由：Mamba 架构在代码场景的落地样本，线性时间推理与 256k token 检索测试给出了与 Transformer 路线对比的具体参照。
Hugging Face 发布 SmolLM 系列小模型，含 135M、360M 和 1.7B 三个尺寸
Hugging Face 发布 SmolLM 系列小语言模型，包含 135M、360M 和 1.7B 三个参数尺寸，并同步开源训练语料 SmolLM-Corpus。
推荐理由：原文公开了 SmolLM 三个尺寸的训练数据配方与评测对比，可据此判断小模型在端侧的表现边界。
Hugging Face TRL 推出 RLOO Trainer，把强化学习重新带回 RLHF
Hugging Face 在 TRL 中推出 RLOO（REINFORCE Leave One-Out）Trainer，作为 PPO 的在线 RLHF 替代方案。RLOO 只需加载策略、参考策略和奖励模型 3 份模型，比 PPO 少约 50-70% 显存，1B 模型上快 2 倍、6.9B 模型上快达 3 倍，响应胜率与 PPO 相当并持续优于 DPO 等离线方法。
Mistral 发布首个代码模型 Codestral，22B 参数支持 80+ 编程语言
Mistral AI 发布首个代码模型 Codestral，这是一个 22B 的开源权重生成式模型，专门面向代码生成任务，支持 80+ 编程语言，包括 Python、Java、C、C++、JavaScript 和 Bash。
推荐理由：Mistral 首个代码模型给出了 22B 参数、32k 上下文与多语言基准对比，可据此判断其代码补全定位。
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，全透明自对齐代码模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个完全自对齐、流程完全透明且许可宽松的代码大语言模型，仅用 StarCoder2-15B 自身生成指令-响应对进行微调，无需人工标注或从大型专有模型蒸馏数据。
Hugging Face 开源多面手 Transformer 智能体 JAT，单网络玩转 157 项任务
Hugging Face 发布 JAT（Jack of All Trades），一个基于 GPT-Neo 架构的多模态 Transformer 智能体，用单一网络在 157 项训练任务上达到专家平均性能的 65.8%。
Meta 发布 Llama 3 开源大模型，Hugging Face 同步集成
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有 base 与 instruct 版本，并推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2，全部 5 个模型已上线 Hugging Face Hub。
推荐理由：Meta 发布 Llama 3 并同步接入 Hugging Face 生态，读者可了解新分词器、GQA 与 15T token 训练带来的变化。
Hugging Face 发布 Idefics2：面向社区的 8B 视觉语言模型
Hugging Face 发布 Idefics2，一个 8B 参数的通用多模态模型，可接受任意文本与图像序列输入并生成文本回复，采用 Apache 2.0 开源许可。
推荐理由：8B 参数、Apache 2.0 开源，并给出与更大模型的基准对比和微调入口，便于判断多模态选型。
Pollen Robotics 开源 pollen-vision：面向机器人零样本视觉模型的统一接口
Pollen Robotics 开源 pollen-vision 库，为机器人提供零样本视觉模型统一接口，首个版本聚焦 3D 物体检测，通过 OWL-ViT、Mobile SAM 和 RAM 组合输出物体在 3D 空间中的 (x, y, z) 坐标。
Hugging Face 推出 Quanto：面向 Optimum 的 PyTorch 量化后端
Hugging Face 发布 Quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2、int4、int8 和 float8 权重及 int8、float8 激活，可在 CUDA、MPS 等任意设备上运行。
Hugging Face 发布 WebSight 数据集，用截图生成 HTML 代码
Hugging Face 推出 WebSight 数据集，用于训练 AI 将网页截图转换为 HTML 代码。该数据集从 v0.1 的 82.3 万对 HTML 与截图样本扩展至 v0.2 的 200 万例，改用真实图像截图并切换至 Tailwind CSS。基于该数据集微调的视觉语言模型 Sightseer 可将网页截图转为可用的 HTML 代码，并能在生成结果中嵌入与原截图相近的图像。
BigCode 发布 StarCoder2 代码模型与 The Stack v2 数据集
BigCode 发布新一代透明训练的开放代码大模型 StarCoder2，包含 3B、7B、15B 三个尺寸，分别由 ServiceNow、Hugging Face 和 NVIDIA 训练。
推荐理由：BigCode 公开了 StarCoder2 三个尺寸的模型、训练数据与训练代码，读者可据此了解开源代码模型的数据规模与开放程度。
Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家模型（SMoE）。该模型总参数量 46.7B，但每个 token 只使用 12.9B 参数，因此在同等速度与成本下运行，推理速度比 Llama 2 70B 快 6 倍，并在多数基准上匹配或超过 GPT3.5。
推荐理由：官方给出 Mixtral 8x7B 的稀疏 MoE 架构与推理成本数据，可据此判断开源模型的性价比取舍。
用 transformers、accelerate 和 bitsandbytes 实现 8-bit 矩阵乘法入门
Hugging Face 将 LLM.int8() 集成进 transformers 和 accelerate，用 8-bit 矩阵乘法把大模型显存占用降到约四分之一且不损失推理性能。
推荐理由：文章把 8-bit 量化原理、LLM.int8() 的离群值分解和 transformers 集成细节讲透，便于理解大模型显存占用来源。
Hugging Face 推出 Skops：在 Hub 上托管 scikit-learn 模型
Hugging Face 发布新库 Skops，可将 scikit-learn 模型托管到 Hugging Face Hub，并生成模型卡进行文档记录与协作。Skops 通过 hub_utils.init 生成含模型文件与环境配置的本地仓库，后端使用 joblib 加载模型，支持 pickle 等序列化方式。
Hugging Face 在 transformers 库中集成 Decision Transformer
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hugging Face Hub，并发布 9 个 Gym 环境连续控制任务的预训练 checkpoint，覆盖 Hopper、Walker2D 和 Halfcheetah，Atari 环境 checkpoint 即将推出。
Hugging Face Transformers 如何用约束束搜索引导文本生成
Hugging Face 在 Transformers 中推出约束束搜索（constrained beam search），通过 model.generate() 的 force_words_ids 参数强制输出包含指定词。
Hugging Face Hub 推出 huggingface_hub 增强搜索功能
Hugging Face 为 huggingface_hub 库新增 ModelSearchArguments、DatasetSearchArguments 和 ModelFilter 类，让用户无需离开 Jupyter 或 Python 环境即可按任务、数据集、框架等条件搜索 Hub 上的模型和数据集。
Hugging Face 将 Perceiver IO 加入 Transformers，统一处理文本图像音频视频
Hugging Face 宣布在 Transformers 库中加入 Perceiver IO，这是首个基于 Transformer、可处理文本、图像、音频、视频、点云等多种模态及其组合的神经网络。
推荐理由：Hugging Face 把 Perceiver IO 接入 Transformers，读者可了解这套统一处理文本、图像、音频、视频的架构如何落地调用。
OpenAI News精选AI 评分 OpenAI 发布 Triton 1.0：面向神经网络的 GPU 编程语言
OpenAI 发布 Triton 1.0，这是一门类 Python 的开源编程语言，让没有 CUDA 经验的研究者也能编写高效的 GPU 代码，性能多数情况下可达到专家水平。
推荐理由：OpenAI 开源 Triton 1.0，让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
OpenAI NewsAI 评分 OpenAI 推出 Microscope：八个视觉模型神经元可视化合集
OpenAI 推出 Microscope，对八个常用于可解释性研究的视觉“模式生物”模型的每个重要层和神经元进行可视化。该工具让分析这些神经网络内部形成的特征变得更容易，OpenAI 希望借此帮助研究社区理解这类复杂系统。
OpenAI NewsAI 评分 OpenAI 发布 Neural MMO：大规模多智能体游戏环境
OpenAI 发布 Neural MMO，一个面向强化学习智能体的大规模多智能体游戏环境。该平台支持在持久、开放式的任务中容纳数量可变的大量智能体，多智能体与多物种的引入带来更好的探索、差异化的生态位形成以及整体能力的提升。
OpenAI NewsAI 评分 OpenAI 发布 CoinRun：量化强化学习泛化能力
OpenAI 发布训练环境 CoinRun，用于衡量智能体将经验迁移到新情境的泛化能力，并已帮助厘清强化学习领域一个长期存在的难题。CoinRun 在复杂度上取得平衡：比《刺猬索尼克》等传统平台游戏更简单，但对当前最先进算法仍构成值得挑战的泛化测试。
OpenAI NewsAI 评分 OpenAI 发布 Gym Retro 完整版：强化学习游戏平台游戏数超 1000
OpenAI 发布强化学习游戏平台 Gym Retro 完整版，公开游戏数量从约 70 款 Atari 和 30 款 Sega 游戏扩展至超过 1000 款，覆盖多种模拟器后端。OpenAI 同时发布了用于向该平台添加新游戏的工具。
OpenAI NewsAI 评分 OpenAI 发布八个模拟机器人环境与 HER Baselines 实现
OpenAI 发布八个模拟机器人环境，以及 Hindsight Experience Replay 的 Baselines 实现，均出自其过去一年的研究。这些环境已用于训练可迁移到实体机器人的模型，OpenAI 同时发布了一组机器人研究议题。
OpenAI NewsAI 评分 OpenAI Baselines 发布 ACKTR 与 A2C 实现
OpenAI Baselines 新增 ACKTR 和 A2C 两个强化学习算法实现。A2C 是 A3C 的同步确定性变体，性能与之相当；ACKTR 比 TRPO 和 A2C 更节省样本，每次更新仅比 A2C 略多计算量。
OpenAI NewsAI 评分 OpenAI 开源 RL-Teacher：通过人类反馈训练 AI
OpenAI 开源了 RL-Teacher，一个通过偶尔的人类反馈而非手工设计奖励函数来训练 AI 的接口实现。该技术旨在推进安全 AI 系统，也适用于奖励难以明确指定的强化学习问题。
OpenAI NewsAI 评分 OpenAI 开源基于 MuJoCo 引擎的高性能 Python 机器人仿真库
OpenAI 开源了一个基于 MuJoCo 引擎的高性能 Python 机器人仿真库，该库源自其过去一年的机器人研究。