UnslothAI· @UnslothAI · X·· 5 天前AI 评分
Flint 本地运行指南
通过 Unsloth Dynamic GGUFs，在 24GB RAM 内存的设备上本地运行 Flint！ Flint 是 50B 参数以下最强的 MoE 模型。 Recursive 的 Apache-2.0 模型有 39.8B 参数（2.5B 激活）。在 Mac 上以 125 t/s 运行，在 RTX Spark 上为 150 GGUF: huggingface.co/unsloth/flint… 指南：unsloth.ai/docs/models/flint
通过 Unsloth Dynamic GGUFs，在配备 24GB 内存的设备上本地运行 Flint！
Flint 是参数量低于 500 亿的 MoE 模型中最强的。
Recursive 的 Apache-2.0 模型拥有 398 亿参数（激活参数量为 25 亿）。在 Mac 上运行速度达 125 t/s，在 RTX Spark 上达 150 t/s
GGUF：huggingface.co/unsloth/flint…
指南：unsloth.ai/docs/models/flint
来源：UnslothAI · x.com