Alex_tra_memory· @Alex_tra_memory · X·· 10 小时前AI 评分
Decision 3.0 上线 Core ML,d3-lite 在 M5 Pro 上实测每秒处理 8.3 个 PR
Decision 3.0 现已支持 Core ML。d3-lite 在 M5 Pro 上对 1,000 个 pull request 进行分诊并归入 vllm-sr 工作组,实测每个 PR 0.12 s、吞吐 8.3 PRs/s,全程数据不离开 Mac。lite、nano 和 mini 版本均已转换并合入同一仓库,代码托管在 huggingface.co/FluidInferenc… 与 github.com/FluidInference/Fl…。
Decision 3.0 now on Core ML 🍎
d3-lite triaging 1,000 pull requests into vllm-sr workgroups, live on an M5 Pro: 0.12 s per PR, 8.3 PRs/s, nothing leaves the Mac ⚡
lite, nano and mini are all converted and in one repo 👇
🤗 huggingface.co/FluidInferenc…
🛠️ github.com/FluidInference/Fl…
来源:Alex_tra_memory · x.com