Hugging Face H-Nets 新版本在原始字节建模中提升训练效率

我一直相信，智能应当源自简单、通用的基本构件，这些构件直接从原始数据中学习自己的抽象；换句话说，这就是“苦涩的教训”。我认为，我们终于朝着能够从所有数据中学习的 AI 迈出了真正的一步。

在原始字节上进行语言建模是这一理想的缩影，对我来说也是 AI 的核心问题：如果我们都无法构建出从字节端到端学习的 LLM，那又该如何应对世界上那些我们理解得更少的数据？

去年，我们引入了分层网络（H-Nets），作为第一步。我们的新版本在受控的缩放定律实验中实现了最高 3 至 5 倍的效率提升；在更大规模下，它仅用约十分之一的数据和计算量，就能达到与一个在 11 万亿 token 上训练的开源模型相当的水平。下面的帖子将详细介绍我们的发现，以及我们认为它之所以有效的原因。