跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 21–40 条 · 共 95 条
6月17日周三
6月8日周一
  1. Google DeepMind62

    Google DeepMind 在塞拉利昂开展 AI 学习试验,数学成绩提升 0.258 个标准差

    Google DeepMind 公布在塞拉利昂开展的预注册试验结果,使用 Guided Learning 的学生数学成绩比对照组提升 0.258 个标准差,约相当于八周内取得 1.2 至 1.7 年的常规学习进度。

    推荐理由:原文给出塞拉利昂预注册试验的量化结果与交互数据,读者可据此了解AI辅助教学的实际效果与局限。

6月3日周三
  1. OpenAI News60

    OpenAI 为 GPT-Rosalind 推出新能力

    OpenAI 为 GPT-Rosalind 推出新能力,面向生命科学研究,增强生物推理、药物化学专长、基因组分析与实验工作流能力。

    推荐理由:OpenAI 公布 GPT-Rosalind 在生物推理、药物化学与基因组分析上的能力扩展,读者可据此了解该模型在生命科学场景的定位。

5月27日周三
  1. Hugging Face Blog66

    Hugging Face 在 TRL 中实现增量权重同步,异步 RL 每步传输量降至 20-35MB

    Hugging Face 在 TRL 中落地了增量权重同步(Delta Weight Sync):只把两次 RL 优化步之间真正变化的 bf16 权重编码成稀疏 safetensors 文件,上传到 Hugging Face Bucket,再由 vLLM 拉取应用。

    推荐理由:TRL 的稀疏增量权重同步把异步 RL 每步传输量压到原来的百分之几,读者可据此判断跨集群训练的成本边界。

5月20日周三
  1. Google Research71

    Google 在 Nature 发表 ERA:用 Gemini 编写科学代码并开放 Computational Discovery

    Google 在 Nature 发表论文介绍 Empirical Research Assistance(ERA),这是一个用 Gemini 编写和优化科学代码的研究工具,通过树搜索在数千种方案中迭代优化代码。

    推荐理由:Google 用 Gemini 驱动的 ERA 在 Nature 发表,并给出流行病、径流、CO2 等八篇应用结果,可看科研编码自动化的边界。

5月17日周日
5月12日周二
5月6日周三
  1. Google DeepMind73

    Google DeepMind 公布 AlphaEvolve 一年进展:从 TPU 设计到商业客户落地

    Google DeepMind 回顾了 Gemini 驱动的编码智能体 AlphaEvolve 发布一年来的应用进展,称其已从试点成为 Google 基础设施的核心组件,用于优化下一代 TPU 设计和缓存替换策略。

    推荐理由:原文汇总了 AlphaEvolve 在基因组、电网、量子物理和商业客户中的落地数据,可据此判断编码智能体的跨领域适用范围。

4月30日周四
4月29日周三
  1. Hugging Face Blog60

    Granite 4.1 LLM 是如何训练的:IBM 公开数据工程、预训练与强化学习全流程

    IBM Granite 团队发布技术文章,详解 Granite 4.1 系列稠密 LLM(3B、8B、30B)的训练流程:约 15T tokens 五阶段预训练,上下文窗口经长上下文扩展至 512K tokens,随后用约 4.1M 条高质量样本做 SFT,并采用 on-policy GRPO 配合 DAPO loss 的多阶段强化学习。

    推荐理由:Granite 4.1 团队公开了从数据配比到多阶段 RL 的完整训练细节,可对照其 8B 稠密模型追平 32B MoE 的结论。

4月22日周三
3月25日周三
3月18日周三
  1. Mistral AI62

    Mistral AI 推出 Forge,让企业用自有知识训练前沿模型

    Mistral AI 推出 Forge,一个让企业基于专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 两种架构,并可按需支持多模态输入,模型可在企业自有基础设施内训练和治理。

    推荐理由:原文给出了企业用自有数据训练前沿模型的分阶段能力与多架构支持,读者可据此判断自建模型的落地路径。

3月12日周四
  1. Google Research67

    Google 在 Flood Hub 上线城市山洪预报,提前 24 小时预警

    Google 宣布在 Flood Hub 上线城市山洪预报,借助新的 AI 方法可在城市地区提前最多 24 小时预测山洪风险。为弥补山洪缺乏地面实测数据的问题,Google 用 Groundsource 方法结合 Gemini 分析公开新闻报道,构建历史山洪事件数据集来训练和评估新模型。

    推荐理由:Google 把城市山洪预警接入 Flood Hub,读者可了解其用 Gemini 从新闻中提取训练数据的思路与全球覆盖取舍。

  2. Google Research60

    Google 推出 Groundsource,用 Gemini 将新闻报道转为灾害数据

    Google 推出 Groundsource,一种用 Gemini 从非结构化全球新闻中提取灾害数据的可扩展方法,并开放首个城市山洪数据集,包含 260 万条记录、覆盖 150 多个国家、时间跨度从 2000 年至今。

    推荐理由:原文给出了用 Gemini 从新闻抽取灾害数据的方法与验证结果,读者可据此判断 LLM 构建历史基准的可行边界。

3月10日周二
3月9日周一
  1. Hugging Face Blog62

    LeRobot v0.5.0 发布:支持 Unitree G1 人形机器人并新增六种策略

    LeRobot v0.5.0 发布,自 v0.4.0 以来合并 200 多个 PR、新增 50 多位贡献者,首次加入 Unitree G1 人形机器人支持,涵盖运动、操作、遥操作与全身控制。

    推荐理由:从人形机器人支持到策略库与数据管线提速,读者可据此判断开源机器人栈当前覆盖的硬件与训练能力。

3月4日周三