rohanpaul_ai· @rohanpaul_ai · X·· 5 天前AI 评分
Google 论文提出 OO-Harness:为不同任务路由专用智能体 harness
Google 新论文提出 OO-Harness,让每个任务从共享 harness 家族中选择专用 harness,而非依赖单一全局 harness。该方法将 harness 演进为代码类,由路由器根据基础运行结果选择专家或保留基础结果。
Google 最新的论文表明,当每项任务都使用来自同一共享家族的专用智能体框架(harness),而不是使用 1 个全局框架时,智能体的得分更高。
智能体框架是围绕模型的一组提示词、工具和控制代码。大多数调优方法都会演化出 1 个全局框架,但针对某一种任务类型的修复可能会损害另一种任务类型的表现。
OO-Harness 将框架演化为代码类,每个专用框架都继承自一个父框架,并且只修改其所在集群所需的部分。路由器会读取一次常规的基础运行结果,然后选择相应的专用框架,或保留基础框架的结果。
在 AutomationBench 的业务工作流任务上,它取得了 77.41% 的得分,而基础框架为 61.62%,全局方法 Meta-Harness 为 63.92%。在陌生应用上,它会保留基础框架,并维持 59.18% 的通过率,而 Meta-Harness 的全局框架则降至 44.90%。
对于混合工作负载,应将基础框架作为后备方案,只有当一次运行暴露出已知问题时,才路由到专用框架。
来源:rohanpaul_ai · x.com