omarsar0· @omarsar0 · X·· 2 小时前AI 评分
研究定位 CoT 可控性受推理开头 token 限制
一项研究发现，CoT 监控部分依赖模型无法控制推理内容，而这一限制主要与思考标签后的前几个 token 有关。禁用高频开头 token 并加入上下文示例后，各模型平均指令遵循率提升 34 至 41 个百分点，但对省略信息的控制改善较不稳定。论文链接：https://arxiv.org/abs/2610.40939
一篇关于思维链可控性的优秀论文。
他们发现，思维链监控在某种程度上依赖于模型无法控制自己在推理过程中写出的内容。
他们将这种限制的大部分原因追溯到开始思考标签后的最初几个 token。那里的熵会急剧下降，模型会落入少数几种常见的开头模式。
在这个环节稍作调整，就能恢复很大程度的控制。仅预填一个 token，就显著提高了可控性。禁用常见的开头 token，并加入上下文示例，使各模型的平均服从度提高了 34 至 41 个百分点。
这些干预主要恢复了对添加信息或改变信息表述方式的控制。而对省略信息的控制则表现得不太稳定。
这两种能力的行为类似于彼此独立的能力。在不同模型之间，各组内部的得分相关，而两组之间的得分大多呈负相关。
arxiv.org/abs/2610.40939
与论文对话：academy.dair.ai/papers/the-f…
来源：omarsar0 · x.com