跳到正文
原文
omarsar0· @omarsar0 · X·· 2 小时前AI 评分57

IBM 论文提出面向工具调用智能体的 JevAct 决策门

AI 导读

IBM 论文提出 JevAct,在不更换模型和工具的情况下,为工具调用智能体加入运行时决策门。LLM 先把领域策略转成代码检查和是非问题,工具调用执行前由代码核验工具记录事实,再由类似 Jev 的决策模型回答对话相关问题,失败则将反馈交回智能体修订。

正文 · AI 翻译

IBM 发布的重磅论文,主题是为智能体引入决策门控。

他们在使用工具的智能体中加入了一个运行时门控,同时保持模型和工具不变。

JevAct 是位于智能体与其工具之间的一道检查机制。首先,大语言模型会将领域策略转化为代码检查和是/否问题。在选定的工具调用执行之前,代码会检查工具记录中的事实,而一个类似 Jev 的决策模型则回答有关对话的问题。如果调用未通过某项检查,它就会连同反馈退回给智能体,以便智能体进行修改。

在 τ²-bench Telecom 上,Opus 4.6 在三次运行中的总体成功率从 39.5% 提升至 80.7%。

在 Telecom 上,全部八个智能体在三次运行成功率方面平均提升了 16.9 个百分点。在 BFCL 上,全部九个智能体都有所提升。航空领域的结果提升较小,且表现不一。

他们证明,这些增益来自测试框架。

arxiv.org/abs/2610.38620

与论文对话:academy.dair.ai/papers/think…

来源:omarsar0 · x.com