Hugging Face Blog·· 2024-03-20AI 评分
在 Intel Meteor Lake 笔记本上运行 Phi-2 聊天机器人
Hugging Face 用 Optimum Intel 集成 Intel OpenVINO,对微软 2.7B 参数的 Phi-2 模型做 4-bit 权重量化,在搭载 Core Ultra 7 155H 的中端笔记本上实现本地推理。该方案利用 Meteor Lake 的 CPU、iGPU 与 NPU 加速,带来隐私、低延迟、离线、低成本等本地 LLM 优势。
当前提供 AI 导读,完整正文请阅读原文。
来源:Hugging Face Blog · huggingface.co