跳到正文
原文
UnslothAI· @UnslothAI · X·· 5 天前AI 评分38

Flint 本地运行指南

AI 导读

通过 Unsloth Dynamic GGUFs,在 24GB RAM 内存的设备上本地运行 Flint! Flint 是 50B 参数以下最强的 MoE 模型。 Recursive 的 Apache-2.0 模型有 39.8B 参数(2.5B 激活)。在 Mac 上以 125 t/s 运行,在 RTX Spark 上为 150 GGUF: huggingface.co/unsloth/flint… 指南:unsloth.ai/docs/models/flint

正文 · 原文

Run Flint locally on 24GB RAM via Unsloth Dynamic GGUFs!

Flint is the strongest MoE model under 50B parameters.

Recursive’s Apache-2.0 model has 39.8B parameters (2.5B active). Run at 125 t/s on Mac, 150 on RTX Spark

GGUF: huggingface.co/unsloth/flint…

Guide: unsloth.ai/docs/models/flint

来源:UnslothAI · x.com