xenovacom· @xenovacom · X·· 1 天前AI 评分
Hugging Face 发布 LFM3-Omni-2B，实现浏览器内全端到端多模态运行
Hugging Face 发布 LFM3-Omni-2B，可在浏览器内 100% 本地端到端运行，无需单独的 ASR 或 TTS 模型。该模型通过自定义 WebGPU kernels，在 M4 Max 上以约 280 tok/s 运行，可接收视觉、音频或文本输入，并交错生成文本与音频 token，首个 token 延迟为 90 ms，首个音频延迟为 140 ms。
我们刚刚取得了一项突破：首个真正实现全模态、100% 在浏览器本地运行的模型……完全端到端，无需单独的 ASR 或 TTS 模型。
借助定制的 WebGPU 内核，我们能够在我的 M4 Max 上以约 280 tok/s 的速度运行 LFM3-Omni-2B，接受视觉、音频或文本输入，并生成交错的文本和音频 token。首个 token 仅需 90 毫秒，首个音频仅需 140 毫秒。
设备端多模态 AI 智能体的未来将会非常疯狂。
来源：xenovacom · x.com