Meta 与 Carnegie Mellon 论文称 RL 训练的小模型工具选择优于提示驱动的 Llama-4-Maverick

Meta 与卡内基梅隆大学最新发表的一篇论文发现，经过强化学习（RL）训练的小模型在选择正确工具方面的表现优于经过提示词引导的 402B 参数 Llama-4-Maverick。

智能体可能需要面对超过 10,000 种工具，其描述无法全部放入上下文中。检索器只能按相关性排序，因此近期的做法是让 Claude 或 ChatGPT 来选择工具。

他们训练 Qwen3 模型将请求拆分为多个步骤，用普通关键词搜索检索每个步骤，并为每个步骤选择 1 种工具。训练首先使用教师编写的示例，随后采用强化学习，奖励有用的搜索步骤和准确的选择。

在 ToolBench 上，经过训练的 8B 模型有 41.5% 的时候准确选择了正确的工具，而 Maverick 最佳的提示词配置仅为 30.6%。无需重新训练，它就在 4 个新工具基准中的 3 个上超过了 Maverick，并且在配备更强的检索器时表现有所提升。

如果你的智能体需要从庞大的工具目录中进行选择，经过强化学习训练的小模型可以承担工具选择任务，无需依赖经过提示词引导的大模型。