跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 41–60 条 · 共 95 条
2月20日周五
1月28日周三
  1. Google Research60

    Google Research 发布智能体系统扩展研究:多智能体并非越多越好

    Google Research 发布论文《Towards a Science of Scaling Agent Systems》,对 180 种智能体配置做大规模对照评测,覆盖 Finance-Agent、BrowseComp-Plus、PlanCraft、Workbench 四个基准和 GPT、Gemini、Claude 三个模型家族。

    推荐理由:通过 180 种智能体配置的对照实验,给出多智能体架构在并行与串行任务上的量化差异,可据此调整编排策略。

1月14日周三
1月13日周二
12月11日周四
  1. OpenAI News70

    OpenAI 发布 GPT-5.2,在数学与科学基准上刷新成绩

    OpenAI 发布 GPT-5.2,称其为目前数学与科学能力最强的模型,在 GPQA Diamond 和 FrontierMath 等基准上取得新的 SOTA 结果。官方表示这些提升已转化为实际研究进展,包括解决一个开放理论问题并生成可靠的数学证明。

    推荐理由:原文给出 GPT-5.2 在 GPQA Diamond 与 FrontierMath 上的新结果,读者可据此了解其在数学与科研任务上的能力边界。

12月5日周五
12月4日周四
12月3日周三
  1. OpenAI News62

    OpenAI 宣布收购 Neptune

    OpenAI 宣布收购 Neptune,以更深入地观察模型行为,并强化研究人员用于追踪实验和监控训练的工具。

    推荐理由:OpenAI 收购 Neptune 的官方说明,交代了它在模型行为追踪与训练监控上的用途。

12月1日周一
11月25日周二
11月24日周一
  1. Google DeepMind62

    Google DeepMind 支持美国能源部 Genesis 计划,向 17 个国家实验室开放 AI 科研模型

    Google DeepMind 宣布支持白宫 Genesis Mission,并与美国能源部合作,向 DOE 全部 17 个国家实验室提供前沿 AI for Science 模型和智能体工具的加速访问计划,首批上线的是基于 Gemini 的 AI co-scientist。

    推荐理由:Google DeepMind 与 DOE 的合作给出了 AI for Science 从模型到国家实验室落地的具体路径,可观察前沿模型在科研场景的接入方式。

11月19日周三
  1. Hugging Face Blog60

    ServiceNow 发布 Apriel-H1:将 15B 推理模型蒸馏为 Mamba 混合架构,吞吐提升 2.1 倍

    ServiceNow 的 SLAM Lab 发布 Apriel-H1,把 15B 推理模型改造成 Mamba 混合架构,旗舰版 Apriel-H1-15b-Thinker-SFT 实现 2.1 倍吞吐且质量损失很小,MATH500 从 0.90 升到 0.92、MTBench 从 8.30 升到 8.58,GSM8k、GPQA、AIME24 略有下降。

    推荐理由:ServiceNow 公开了把 15B 推理模型蒸馏成 Mamba 混合架构的完整流程与七个 checkpoint,可看到效率与质量的取舍曲线。

11月17日周一
11月5日周三
  1. Google Research60

    Google 发布 Project Suncatcher 预印本,探索太空 AI 基础设施设计

    Google 公布研究项目 Project Suncatcher,设想由太阳能卫星组成星座、搭载 Google TPU 并通过自由空间光链路互联,以在太空扩展 AI 算力。

    推荐理由:Google 公开了太空 AI 基础设施的预印本,给出卫星互联、轨道与 TPU 抗辐射的实测数据,可了解这一设想的技术边界。

10月29日周三
  1. Hugging Face Blog62

    Hugging Face 分析全球算力格局变迁:中国国产芯片与开源模型的双向推动

    Hugging Face 发布分析文章,指出中国开源权重模型的推理已开始由华为昇腾、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关,芯片稀缺也促使 DeepSeek 的 MLA、GRPO 等算力效率创新走向开源。

    推荐理由:梳理中国算力从被限制到自建全栈的路径,帮助读者理解开源模型与国产芯片如何互相推动。

10月27日周一
6月11日周三
8月12日周一
  1. Hugging Face Blog62

    TII 发布 Falcon Mamba 7B:首个强性能无注意力 7B 模型

    阿布扎比技术创新研究院(TII)发布 Falcon Mamba 7B,采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定,以 TII Falcon Mamba 7B License 1.0 开放,可在 Hugging Face 生态中使用。

    推荐理由:原文给出 Falcon Mamba 的架构取舍、训练数据与两组基准对比,可据此判断无注意力架构在长序列上的位置。

8月8日周四
  1. Hugging Face Blog62

    Hugging Face 收购 XetHub,将用其技术替换 Hub 的 Git LFS 存储后端

    Hugging Face 宣布收购西雅图公司 XetHub,其 12 人团队将加入并帮助 Hub 从 Git LFS 切换到自研的存储与版本管理后端。XetHub 的分块存储与去重技术可让 10GB Parquet 文件只重传新增行所在的少量分块,GGUF 模型文件改一个元数据值也只需重传几 KB。

    推荐理由:Hugging Face 收购 XetHub 并计划替换 Git LFS 存储后端,读者可了解 Hub 大文件版本管理将如何变化。