UnslothAI· @UnslothAI · X·· 5 天前AI 评分
Flint 本地运行指南
通过 Unsloth Dynamic GGUFs,在 24GB RAM 内存的设备上本地运行 Flint! Flint 是 50B 参数以下最强的 MoE 模型。 Recursive 的 Apache-2.0 模型有 39.8B 参数(2.5B 激活)。在 Mac 上以 125 t/s 运行,在 RTX Spark 上为 150 GGUF: huggingface.co/unsloth/flint… 指南:unsloth.ai/docs/models/flint
Run Flint locally on 24GB RAM via Unsloth Dynamic GGUFs!
Flint is the strongest MoE model under 50B parameters.
Recursive’s Apache-2.0 model has 39.8B parameters (2.5B active). Run at 125 t/s on Mac, 150 on RTX Spark
GGUF: huggingface.co/unsloth/flint…
Guide: unsloth.ai/docs/models/flint
来源:UnslothAI · x.com