omarsar0· @omarsar0 · X·· 2 小时前AI 评分
DigitalOcean Signals 可将生产 trace 一键转为评测并回放验证
作者提出 agent 的生产 trace 是最好的评测数据,因为最关键的失败只在生产环境出现且很少进入测试集。DigitalOcean 的 Signals 会标记用户受挫或工具调用失败的会话,一键将其转为评测用例,再通过 Simulations 在 agent 的真实 harness 上回放验证修复效果,之后才发布。
你的智能体追踪数据就是你最好的评估数据。
最重要的失败只会在生产环境中暴露,而且很少会进入你的测试集。
DigitalOcean 的 Signals 会标记出用户感到沮丧或工具出错的会话,并一键将其转化为评估用例。随后,模拟环境会在你的智能体真实运行框架上,针对你的修复方案重放这些用例,然后再发布上线。
如果你在生产环境中运行智能体,你就需要这个闭环。
来源:omarsar0 · x.com