rohanpaul_ai· @rohanpaul_ai · X·· 7 小时前AI 评分
上海AI实验室论文:用验证过的 Agent 技能运行数据训练模型提升 Agent 能力
上海AI实验室新论文提出 SkillGym,把每个技能文件转成带代码检查器的沙箱任务,只用通过校验的运行数据微调模型,使模型在不加载技能文件的情况下也变得更强。
上海人工智能实验室的新论文发现,即使没有技能文件,仅靠在经过验证的人类编写智能体技能运行上进行训练,也能让模型成为更好的智能体。
提示词阶段的技能依赖于检索和指令遵循能力,而在经过验证的技能运行上进行微调可以降低这种依赖。
将每个技能文件转化为带有通过/不通过检查器的沙盒任务,由此产生的训练数据使 Claude Code 在 Terminal-Bench 2.1 上的成功率提升了 19.10 个百分点。
技能文件通常放在提示词中,因此只有当智能体找到并遵循它们时才能发挥作用。
SkillGym 将每个技能转化为带有代码检查器的沙盒任务,然后在通过检查的运行上进行训练。
在 Claude Code 中,Qwen3.5-35B-A3B 在 Terminal-Bench 2.1 上从 39.33% 跃升至 58.43%。在没有技能文件的情况下,它在 SkillsBench 上得分为 26.81%,超过了使用技能的基线模型的 23.34%。
在此基础上加载技能仍然有帮助,将其提升至 51.47%。
来源:rohanpaul_ai · x.com