MaxiBoether· @MaxiBoether · X·· 1 天前AI 评分
DatologyAI 开源数据加载器 Zephon
在 @datologyai 我们运行数千次数据实验。两件事总在坑我们： - 同一次运行，16 GPU vs 8 GPU → 评测结果不同 - 每次流水线改动 → 都要重新物化数据集 介绍 Zephon，我们构建的数据加载器，可确定性地即时处理数据。🧵
At @datologyai we run thousands of data experiments. Two things keep biting us:
- Same run on 16 vs 8 GPUs → different evals
- Every pipeline change → re-materialize the dataset
Introducing Zephon, the data loader we built to process data on the fly, deterministically. 🧵
来源：MaxiBoether · x.com