跳到正文
原文
Hugging Face Blog·· 2024-08-12精选AI 评分62

TII 发布 Falcon Mamba 7B:首个强性能无注意力 7B 模型

AI 导读

阿布扎比技术创新研究院(TII)发布 Falcon Mamba 7B,采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定,以 TII Falcon Mamba 7B License 1.0 开放,可在 Hugging Face 生态中使用。

推荐理由

原文给出 Falcon Mamba 的架构取舍、训练数据与两组基准对比,可据此判断无注意力架构在长序列上的位置。

当前提供 AI 导读,完整正文请阅读原文。

来源:Hugging Face Blog · huggingface.co