Hugging Face Blog·· 2024-06-27精选AI 评分
Google 发布 Gemma 2 开源大模型，Hugging Face 同步集成
Welcome Gemma 2 - Google’s new open LLM
Google 发布 Gemma 2 系列开源大模型，包含 9B 和 27B 两个尺寸的基座版与指令微调版共 4 个开放权重模型，上下文长度 8K tokens，采用允许商用和再分发的宽松许可。
梳理 Gemma 2 的滑窗注意力、软截断与蒸馏等训练细节，并给出与 Llama 3、Qwen 1.5 的基准对比。
来源：Hugging Face Blog · huggingface.co