mehulmpt· @mehulmpt · X·· 25 天前AI 评分
开发者实测 MiniCPM5-2B：2B 参数本地跑出同尺寸最强表现
开发者 mehulmpt 表示近期一直在业余测试 gemma e4b、qwen 4b 等超小参数 LLM，拿到 2B dense 参数的 MiniCPM5-2B 后认为它在同尺寸中表现出色。该模型支持 128k context window，通过 llama.cpp 在他的 macbook pro m5 上完全本地运行，表现优于同尺寸范围内的所有模型。
开源这周太火了！几周以来，我业余时间一直在玩超小的 LLM 模型（gemma e4b、qwen 4b 等），就想看看这些 LLM 的“小”模型能做到什么程度。
我拿到了这个 20 亿稠密参数的模型 MiniCPM5-2B，就它的体积而言，这东西简直是猛兽。128k 上下文窗口，而且在我那台 MacBook Pro M5 上完全本地运行（通过 llama.cpp），表现胜过同尺寸范围内的每一个模型。
来源：mehulmpt · x.com