Rock Matrix 开源 EdgeRock-4B 文本与图像推理模型

AI 导读

Rock Matrix 开源了 EdgeRock-4B，一款采用固定容量记忆的小型文本与图像推理模型。该模型将注意力 KV cache 固定大小，完整保留最近 1,024 个 token，并将较早的重要信息存入独立记忆库。Rock Matrix 报告称，其在 AIME 2024–2026 上的平均 pass@1 为 82.9%，而其测试的最强有界状态模型为 18.8%。

正文 · AI 翻译

Rock Matrix 已开源 EdgeRock-4B，这是一款采用固定容量记忆的小型文本与图像推理模型。

EdgeRock-4B 将注意力 KV 缓存的大小保持固定：完整保留最近 1,024 个词元，并将较早的重要细节另存至独立的存储库中。

标准语言模型会保存其读入的每个词元所形成的不断增长的记录，因此随着时间推移，长对话和长推理会占用更多 GPU 内存。

Rock Matrix 报告称，EdgeRock-4B 在 AIME 2024–2026 上的平均 pass@1 为 82.9%，而其测试的最强有界状态模型为 18.8%。