跳到正文
原文
Alex_tra_memory· @Alex_tra_memory · X·· 10 小时前AI 评分58

Decision 3.0 上线 Core ML,d3-lite 在 M5 Pro 上实测每秒处理 8.3 个 PR

AI 导读

Decision 3.0 现已支持 Core ML。d3-lite 在 M5 Pro 上对 1,000 个 pull request 进行分诊并归入 vllm-sr 工作组,实测每个 PR 0.12 s、吞吐 8.3 PRs/s,全程数据不离开 Mac。lite、nano 和 mini 版本均已转换并合入同一仓库,代码托管在 huggingface.co/FluidInferenc… 与 github.com/FluidInference/Fl…。

正文 · 原文

Decision 3.0 now on Core ML 🍎

d3-lite triaging 1,000 pull requests into vllm-sr workgroups, live on an M5 Pro: 0.12 s per PR, 8.3 PRs/s, nothing leaves the Mac ⚡

lite, nano and mini are all converted and in one repo 👇

🤗 huggingface.co/FluidInferenc…

🛠️ github.com/FluidInference/Fl…

来源:Alex_tra_memory · x.com