RuHarness 同步演化评估标准与智能体测试框架

自我改进的测试框架（harness）是当前 AI 领域最受讨论的理念之一。

（收藏此帖）

这项工作提出了一种新框架 RuHarness：在使用 Qwen3.5-35B-A3B 时，其在留出任务上的表现比最强的框架演化基线高出 4.5 个百分点；使用 GLM-4.7-Flash 时则高出 5.3 个百分点。

这项工作针对的是当前方法中的一个缺口。它们会演化框架，却将指导每次编辑的标准固定不变，因此经过几轮迭代后，这些标准就不再符合智能体的弱点。

RuHarness 会让评分标准与框架同步演化。每一轮，它都会从轨迹中找出行为标准、重新进行评分，并将框架编辑指向最相关且尚未解决的弱点。不再触发的标准会进入休眠状态，一旦相应弱点再次出现，就会重新启用。

如果你的框架演化在几轮迭代后就不再有所改进，那就连评判器也一起更新。

arxiv.org/abs/2610.36826

与论文对话：academy.dair.ai/papers/when-…