跳到正文
原文
rohanpaul_ai· @rohanpaul_ai · X·· 5 天前AI 评分57

Google 论文提出 OO-Harness:为不同任务路由专用智能体 harness

AI 导读

Google 新论文提出 OO-Harness,让每个任务从共享 harness 家族中选择专用 harness,而非依赖单一全局 harness。该方法将 harness 演进为代码类,由路由器根据基础运行结果选择专家或保留基础结果。

正文 · AI 翻译

Google 最新的论文表明,当每项任务都使用来自同一共享家族的专用智能体框架(harness),而不是使用 1 个全局框架时,智能体的得分更高。

智能体框架是围绕模型的一组提示词、工具和控制代码。大多数调优方法都会演化出 1 个全局框架,但针对某一种任务类型的修复可能会损害另一种任务类型的表现。

OO-Harness 将框架演化为代码类,每个专用框架都继承自一个父框架,并且只修改其所在集群所需的部分。路由器会读取一次常规的基础运行结果,然后选择相应的专用框架,或保留基础框架的结果。

在 AutomationBench 的业务工作流任务上,它取得了 77.41% 的得分,而基础框架为 61.62%,全局方法 Meta-Harness 为 63.92%。在陌生应用上,它会保留基础框架,并维持 59.18% 的通过率,而 Meta-Harness 的全局框架则降至 44.90%。

对于混合工作负载,应将基础框架作为后备方案,只有当一次运行暴露出已知问题时,才路由到专用框架。

来源:rohanpaul_ai · x.com