Hugging Face 更新 H-Nets 提升字节建模效率

2026年10月29日，Hugging Face 联创兼首席科学官Thomas Wolf在X上介绍，团队已发布H-Nets新版本。该版本面向原始字节语言建模，在受控scaling law实验中实现最高3至5倍训练效率提升；在更大规模实验中，以约少10倍的数据和计算，匹配了一个使用11T tokens训练的开源模型。团队称，该研究探索从数据中直接学习抽象的通用构建模块。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。