Hugging Face 机器人数据去重分发实践
先了解这件事
AI 综述
2026年10月26日,Hugging Face 联合创始人兼首席战略官Thomas Wolf在X上介绍microagi团队的大规模机器人数据传输方案。其做法是将一个仅作小幅改动的239 GB数据集重新上传至Hugging Face,实际网络传输量仅为2.6 MB,约一分钟完成。报道指出,机器人录制内容因场景和装置相同而高度重复,因此在大规模场景下仍具成本优势;随后由Cloudflare Workers分发至任意云端,传输超过1 PB数据的费用约为500美元。
报道时间线
10月26日
- microagi 机器人数据传输
来自 @microagi 关于传输 PB 级机器人数据的文章中的一个有趣数据: 他们将一个仅做了小幅改动的 239 GB 数据集重新上传到 Hugging Face。实际通过网络传输的只有 2.6 MB,大约一分钟就完成了(!) 而且在大规模场景下,这种方式依然很划算,因为机器人录制内容高度重复(相同场景、相同装置)。随后由 @Cloudflare workers 将其分发到任意云端,>1 PB 只需约 $500 团队的精彩文章:microagi.ai/articles/deliver…