Infini-Attention 复现失败实验：压缩次数越多性能越差，长上下文仍靠 Ring Attention 与 YaRN
Hugging Face 博客分享了复现 Google Infini-Attention 的失败实验：随着记忆压缩次数增加，模型性能持续下降，团队 90% 时间都在调试收敛问题。
#Meta
#Meta
Hugging Face BlogAI 评分
Llama 3.1 发布：8B、70B、405B 三尺寸，支持 128K 上下文与多语言
Meta 发布 Llama 3.1 系列，包含 8B、70B、405B 三个尺寸的 base 与 instruct 版本共六个开放权重模型，均支持 128K token 上下文和英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语 8 种语言，并新增工具调用能力。
推荐理由：Hugging Face 官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案与微调路径，可据此估算部署成本。
Meta 发布 CyberSecEval 2：大语言模型网络安全风险与能力评估框架
Meta 推出 CyberSecEval 2，从代码解释器滥用、攻击性网络安全能力和提示注入攻击三方面评估 LLM 的网络安全风险。相比 2023 年 12 月的首版，LLM 协助网络攻击的平均合规率已从 52% 降至 28%。测试显示提示注入仍是未解难题，LLM 目前也难以可靠完成端到端漏洞利用挑战。
Meta 发布 Llama 3 开源大模型，Hugging Face 同步集成
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有 base 与 instruct 版本，并推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2，全部 5 个模型已上线 Hugging Face Hub。
推荐理由：Meta 发布 Llama 3 并同步接入 Hugging Face 生态，读者可了解新分词器、GQA 与 15T token 训练带来的变化。
用 Hugging Face Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出的 DuckDB-NSQL-7B 可从自然语言生成 DuckDB SQL，该模型基于 Meta Llama-2-7b 微调，并用 DuckDB text-to-SQL 数据对进一步优化。
在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 发布教程，展示如何用 Optimum Habana 的自定义 pipeline 类在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列模型（7b、13b、70b）进行文本生成。
Code Llama 发布：Llama 2 学会写代码
Hugging Face 博客发布文章介绍 Code Llama，标题显示这是 Llama 2 面向代码能力的版本。原文正文未能抓取，除标题外暂无更多细节。
Llama 2 发布，可在 Hugging Face 获取
Hugging Face 博客发布消息称 Llama 2 已发布，并可在 Hugging Face 上获取。原文正文未能抓取，除标题外暂无更多细节。
StackLLaMA：用 RLHF 训练 LLaMA 的实操指南
Hugging Face 发布 StackLLaMA 实操指南，介绍如何用 RLHF 训练 LLaMA。
Hugging Face Accelerate 如何借助 PyTorch 运行超大模型
Hugging Face 的 Accelerate 利用 PyTorch 的 meta device 先创建无权重空模型，再逐层加载权重并按设备映射分配，从而在内存和单卡显存不足时也能运行超大模型。
如何在 🤗 Transformers 中用 Wav2Vec2 对超大文件做自动语音识别
Hugging Face 博客介绍了利用 Wav2Vec2 的 CTC 架构特性，通过带 stride 的重叠分块推理，让 ASR 在任意长音频上也能保持高质量识别。只需在 pipeline 中设置 chunk_length_s 和 stride_length_s，即可避免直接处理长文件时的显存溢出，该技巧同样适用于 LM 增强的 Wav2Vec2 模型，并可用于实时推理。
在 🤗 Transformers 中用 n-gram 提升 Wav2Vec2 语音识别效果
🤗 Transformers 现已集成 Kensho Technologies 的 pyctcdecode 库，可将 n-gram 语言模型与微调后的 Wav2Vec2 检查点结合用于音频解码。