MaxiBoether· @MaxiBoether · X·· 1 天前AI 评分
DatologyAI 开源数据加载器 Zephon
在 @datologyai 我们运行数千次数据实验。两件事总在坑我们： - 同一次运行，16 GPU vs 8 GPU → 评测结果不同 - 每次流水线改动 → 都要重新物化数据集 介绍 Zephon，我们构建的数据加载器，可确定性地即时处理数据。🧵
在 @datologyai，我们进行了数千次数据实验。有两件事一直让我们头疼：
- 同样的运行在 16 张 GPU 与 8 张 GPU 上 → 评测结果不同
- 每次流水线变更 → 重新物化数据集
隆重介绍 Zephon——我们构建的数据加载器，可实时、确定性地处理数据。🧵
来源：MaxiBoether · x.com