PostTrainBench 研究揭示智能体后训练中的策略锁定现象

一个能够运行完整后训练流程的智能体，几乎从不重新审视其初始策略。

我们分析了来自 PostTrainBench 的 1,338 条完整训练轨迹——涵盖 7 个基准、4 个基础模型、Claude Code / Codex CLI / OpenCode，以及单张 H100 上 10 小时的运行——并将能力分为执行（EXECUTION）与策略（STRATEGY）两类。

1️⃣ 合格的执行者，策略却被锁死。智能体在每个基准上的表现都优于基础模型；随着经验积累，平均得分从 33.34 提升至 48.55。所有执行层面的建议均被采纳，但策略层面的建议（例如切换到 RL、加入 SFT 预热）无一被采纳。在 3,557 对相邻实验中，实际切换策略的仅占 2.1%。默认值跟随智能体，而非任务本身：Claude Code 有 71.9% 的情况下以全参数 SFT 启动；Codex CLI 则有 89.5% 的情况下以 PEFT/LoRA 启动。

2️⃣ 经验和算力无法解锁这一能力。更多经验和记忆可以提升执行水平，但始终无法突破被锁定的策略；增加推理 token 换来的是更精细的执行，而非更好的方向——在 AIME 2025 上，额外投入约 1,400 万个 token 也只能多解出 1 道题。

3️⃣ 运行中的一次人工指导在所有场景下都胜出。在相同检查点、相同剩余预算下，仅用一句话切换到另一种策略，效果就优于自主继续运行：GSM8K +17.44 个百分点，HumanEval +10.80 个百分点，AIME 2025 +6.67 个百分点。

缺失的能力并不是执行新策略，而是在训练轨迹中途自发触发重新进行策略决策。

📄 论文：arxiv.org/abs/2608.19072

#AIAgent #PostTraining #LLM #RLHF #GRPO #PPO #RSI #AgentBenchmark #PostTrainBench #THUNLP