DeepSeek-V4 发布:百万 token 上下文面向智能体任务
DeepSeek 发布 V4,两个 MoE 检查点上线 Hub:DeepSeek-V4-Pro 为 1.6T 总参数、49B 激活,DeepSeek-V4-Flash 为 284B 总参数、13B 激活,均支持 1M token 上下文窗口。
推荐理由:DeepSeek-V4 把长上下文推理成本压到 V3.2 的一成量级,读者可据此判断智能体长任务工作流的可行性。
DeepSeek 发布 V4,两个 MoE 检查点上线 Hub:DeepSeek-V4-Pro 为 1.6T 总参数、49B 激活,DeepSeek-V4-Flash 为 284B 总参数、13B 激活,均支持 1M token 上下文窗口。
推荐理由:DeepSeek-V4 把长上下文推理成本压到 V3.2 的一成量级,读者可据此判断智能体长任务工作流的可行性。
Hugging Face 发文介绍 transformers 库如何为 MoE 模型重构支持,涵盖权重加载、专家后端、专家并行与训练四部分。权重加载引入 WeightConverter 与惰性物化,将 256 个独立专家张量打包为单个连续张量;在 Qwen1.5-110B-Chat 上,v5 异步加载耗时 20.71s,v4 为 66.24s,张量并行下为 10.1s。
Hugging Face 博客第三篇中国开源 AI 系列文章指出,开源已成为中国 AI 机构未来一段时间的主流路线。Qwen 在 Hugging Face 上的衍生模型超过 113k、相关仓库超 200k,远超 Llama 的 27k 和 DeepSeek 的 6k;DeepSeek 与 Qwen 分别是 Hugging Face 关注度第一和第四的组织。
中国开源模型社区已近乎一致转向 MoE 架构,Kimi K2、MiniMax M2、Qwen3 均采用该路线,以在成本约束下兼顾能力与灵活部署。开源活动从文本扩展到多模态与智能体,StepFun 的 Step-Audio-R1.1 语音模型性能超越闭源模型,腾讯开源 Hunyuan Video 与 Hunyuan 3D。
Hugging Face 发布系列博客第一篇,回顾 DeepSeek 于 2025 年 1 月发布 R1 模型一年来中国开源 AI 生态的变化。文章称 R1 通过公开推理路径与后训练方法、采用 MIT 许可,降低了技术、采用和心理三重门槛,并成为 Hugging Face 历史上获赞最多的模型。
Hugging Face 发布分析文章,指出中国开源权重模型的推理已开始由华为昇腾、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关,芯片稀缺也促使 DeepSeek 的 MLA、GRPO 等算力效率创新走向开源。
推荐理由:梳理中国算力从被限制到自建全栈的路径,帮助读者理解开源模型与国产芯片如何互相推动。
Hugging Face 发布 Open-R1,对 DeepSeek-R1 进行完全开源的复现。原文正文抓取失败,仅标题可用。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 做两阶段微调,先学自然语言链式推理,再用 GPT-4 生成的工具集成推理数据训练模型调用 Python REPL。
推荐理由:NuminaMath 团队复盘了夺冠方案的两阶段微调、SC-TIR 解码与内部验证集设计,可供做数学推理微调的人参考。