Aleph Alpha 发布 78B 参数 MoE 开源模型 Kolibri，支持 1M 上下文窗口

Aleph Alpha 发布了 Kolibri，这是一款 780 亿参数、34.6 亿激活参数的 MoE 开放权重模型，上下文窗口为 100 万，采用 Apache 2.0 许可证分发。

Aleph Alpha 是一家德国 AI 实验室，除了 Mistral 之外，它可能是欧盟首个达到这一性能水平的通用模型！

> "该模型支持显式推理模式和工具调用，针对长上下文和推理效率进行了优化。"

> "Aleph Alpha 团队开发了德英双语分词器，并在模型训练全过程中注重纳入原生德语数据，使预训练 token 中有 21.3% 为德语。"

> "Kolibri 从一开始就围绕欧盟《人工智能法案》、《通用人工智能行为准则》和 GDPR 构建，版权法是我们可信技术工作的重点。"

更多欧盟实验室正在加入这场派对 👀