Alex_tra_memory· @Alex_tra_memory · X·· 21 小时前AI 评分
FluidInference 将 clef-flash 蒸馏为 0.6B 模型并支持 ANE
FluidInference 将 clef-flash 蒸馏为 0.6B 模型，并支持 ANE 选项。在 M5 Pro 上 57 秒完成 1,000 张工单分类，输出团队、紧急度和退款信息，平均每张 48 ms，分类效果与 9B 模型相差几个百分点。模型已发布在 Hugging Face，代码见 github.com/FluidInference/Fl。
我们将 clef-flash 蒸馏成了一个 0.6B 模型，并支持 ANE 选项。
在 M5 Pro 上 57 秒内处理了 1,000 个支持工单：每个工单都标注了团队、紧急程度和退款信息，平均每单 48 毫秒。在分类任务上与 9B 模型的差距只有几个百分点。
🤗 huggingface.co/FluidInferenc…
💻 github.com/FluidInference/Fl…
来源：Alex_tra_memory · x.com