跳到正文
原文
dongxi_nlp· @dongxi_nlp · X·· 3 小时前AI 评分59

Meta 推出可在个人电脑运行的 Agent 模型 Muse Glimmer 30B

AI 导读

Meta 正在把具备较强自主执行能力的 AI Agent 从云端大模型压缩到可在个人电脑持续运行的 Muse Glimmer 30B,部分指标超过 Qwen3.6-27B 和 Gemma4-31B。通过 4-bit 量化模型压缩到约 17GB,目标是在 24GB 显存设备上运行;采用 DFlash 推测解码,在 RTX 5090 上实现约 233 tokens/s,相比普通解码提速约 3.1 倍。

正文

Meta 正在把具备较强自主执行能力的 AI Agent,从云端大模型压缩到可以在个人电脑上持续运行的 Muse Glimmer 30B。

部分指标超过 Qwen3.6-27B 和 Gemma4-31B。

通过 4-bit 量化,将模型压缩到约 17GB,目标是在 24GB 显存设备上运行。

采用 DFlash 推测解码,在 RTX 5090 上实现约 233 tokens/s,相比普通解码提速约 3.1 倍。

Meta 最近牛逼克拉斯!

来源:dongxi_nlp · x.com