Hugging Face Blog·· 2024-08-12精选AI 评分
TII 发布 Falcon Mamba 7B:首个强性能无注意力 7B 模型
阿布扎比技术创新研究院(TII)发布 Falcon Mamba 7B,采用纯 Mamba 架构并加入额外 RMS 归一化层以保证大规模训练稳定,以 TII Falcon Mamba 7B License 1.0 开放,可在 Hugging Face 生态中使用。
原文给出 Falcon Mamba 的架构取舍、训练数据与两组基准对比,可据此判断无注意力架构在长序列上的位置。
当前提供 AI 导读,完整正文请阅读原文。
来源:Hugging Face Blog · huggingface.co