OpenBMB· @OpenBMB · X·· 3 小时前AI 评分
MiniCPM-V 4.7 用 LES 加速端侧 MoE 推理
MiniCPM-V 4.7 提出 Lookahead Expert Scheduling（LES），通过跨层路由预测提前预取专家权重，让已加载专家的计算与其余专家的加载并行，解决 35B MoE 模型在端侧按需从 SSD 加载专家导致的生成卡顿，且无需额外训练。
⚡ 前瞻式专家调度：让端侧 MoE 推理更快
在内存有限的设备上运行 35B MoE 模型面临一个关键挑战：专家权重可以存放在 SSD 上，但按需加载它们会导致生成过程卡顿。
MiniCPM-V 4.7 通过 LES 解决了这一问题，它协调专家的加载与计算，而不是等待所有需要的专家加载完毕后再继续。
🔹 专家预取与计算调度：LES 通过跨层路由预测来预测下一层可能需要哪些专家。它优先对已加载的专家进行计算，同时并行加载其余所需的专家。预测仅用于指导预加载和调度；实际计算所用的专家仍由原始的 token 级路由器决定。无需额外训练。
🔹 优化的权重访问：细粒度的逐层混合精度量化在保持模型能力的同时，减少了权重存储和传输开销。将专家权重重组为连续布局也减少了分散读取，改善了闪存的顺序访问性能。
前瞻式专家调度：github.com/tc-mb/llama.cpp-o…
来源：OpenBMB · x.com