Hugging Face Blog·· 2026-01-20AI 评分
微软 Differential Transformer V2 发布:解码速度追平标准 Transformer
微软发布 Differential Transformer V2(DIFF V2),通过将查询头数翻倍、保持 KV 头数不变,使解码速度与标准 Transformer 持平,且无需自定义注意力 kernel。
当前提供 AI 导读,完整正文请阅读原文。
来源:Hugging Face Blog · huggingface.co