论文：小决策模型循环复用同一层可显著提升准确率

这篇论文发现，小型决策模型在给出答案前将相同的层重复运行多次，准确率会大幅提升。

许多 LLM 调用只需要做出一个选择，比如是否为垃圾邮件。类型化决策模型（typed decision models）单次前向传播即可回答，但当决策需要多个相互依赖的步骤时就会失败。

SanSi 循环运行 Ouro-1.4B——一个预训练时就设计为可复用其层的模型——并在 8 次循环中的每一次之后读取选项概率。每次循环都被训练为给出答案，因此同一个模型可以在 1 到 8 次循环之间的任意位置停止。

在 10,027 个测试决策上，SanSi 得分为 72.0%，而没有循环的同结构模型为 58.4%，且 SanSi 的计算量是后者的 7.7 倍。在比训练中见过的任何链条都长的说谎者链条（liar chains）上，它达到了 72.6%，而一个 4.2B 的单次前向传播模型只有 50.0%，即随机水平。

如果你的内存限制了决策风格的调用，不妨先试试循环的小模型，再考虑换用 3 倍大的模型。