NVIDIA与IIT Madras开源印度语言预训练语料
先了解这件事
AI 综述
2026年10月16日,Hugging Face Blog 发布一手消息,NVIDIA 与印度理工学院马德拉斯分校(IIT Madras)的 AI4Bharat 团队联合开源了名为 Nemotron-pretraining-Indic-v1 的印度语言预训练语料。该语料覆盖印度宪法所列的 22 种语言,规模约 2.8 万亿 token,同时配套发布了开源的 GPU 加速数据生成流水线,供社区复用。这是该事件目前唯一的公开报道,尚无后续进展或相关争议信息。
报道时间线
10月16日
- NVIDIA 与 IIT Madras 开源 2.8 万亿 token 印度语言预训练语料及数据生成流水线
NVIDIA 与 IIT Madras 的 AI4Bharat 联合发布 Nemotron-pretraining-Indic-v1,包含覆盖印度宪法 22 种语言的约 2.8 万亿 token 语料,以及配套的开源 GPU 加速数据生成流水线。