Hugging Face Blog·· 2022-07-12精选AI 评分
Hugging Face 发布 176B 参数开放多语言模型 BLOOM
Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,可生成 46 种自然语言和 13 种编程语言的文本。该模型由 70 多个国家、250 多家机构的 1000 多名研究者协作完成,在法国 Jean Zay 超算上训练 117 天,并首次公开训练中间检查点和优化器状态。
BLOOM 以 176B 参数覆盖 46 种自然语言,并公开训练中间检查点,可据此了解开放大模型的训练与复现路径。
当前提供 AI 导读,完整正文请阅读原文。
来源:Hugging Face Blog · huggingface.co