Harness-Aware Distillation 论文：让小模型 Agent 学会利用 harness 信息

一篇关于小型语言模型智能体的 harness 感知蒸馏的论文，写得非常不错。

（建议收藏）

这是一个非常有趣的蒸馏框架，面向部署在 harness 中的小型语言模型智能体。

简单来说，就是让大模型分别在有 harness 信息和无 harness 信息的情况下运行，然后针对那些行为会因此改变的案例来训练小模型。

研究人员表明，在 on-policy 蒸馏中加入 harness，能提高学生模型在 ALFWorld 上使用 harness 信息的频率（从 65.7% 提升到 73.1%），但成功率基本持平（从 43.1% 到 43.5%）。

他们的方法 Harness-Aware Distillation 会用有 harness 信息和无 harness 信息两种方式查询同一个教师模型，并训练学生模型倾向于选择有 harness 信息时所选的动作。一个过滤器会剔除那些首选动作与 harness 记录相矛盾的配对。该方法不使用任何任务奖励或成功标签。

学生模型在未见过的 ALFWorld 任务上达到了 63.4%，而最好的基线为 47.0%，并且超过了其 8B 的教师模型。它还能摆脱 59.7% 的卡死状态，而各基线则停留在接近未训练学生的 46.8% 水平。

论文：arxiv.org/abs/2610.02858

与论文对话：academy.dair.ai/papers/harne…