omarsar0· @omarsar0 · X·· 9 小时前AI 评分
Viktor:Slack AI 员工自动分析评测结果
DAIR.AI 创始人 Elvis Saravia 推荐 Slack AI 员工 Viktor,它能在夜间自动审查 agent harness 的评测结果,例如当 23 个任务由通过变为失败时,Viktor 会检查全部日志、定位到引发回归的单个改动并建议回滚。
阅读评测结果现在是构建智能体过程中最耗时的环节。
我是 Elvis,@dair_ai 的创始人。我负责 AI 智能体的研究、构建和教学。
我每晚都会运行框架实验,但阅读结果却占用了我整个上午的时间。
我对框架的每一次改动都会在夜间进行评测,无论是涉及记忆、工具使用还是上下文压缩。
第二天早上才是最艰难的时刻。我会检查智能体昨天做对但今天做错的任务,然后逐个打开每个失败案例的日志,找出是我的哪项改动导致了问题。
我先尝试过仪表盘。它显示通过率下降了,却无法告诉我原因。
这正是 Viktor——Slack 中的一名 AI 员工——被设计来完成的工作。他会在夜间审查结果。
具体过程是这样的:假设昨天通过的 23 个任务今天失败了,Viktor 会检查全部 23 份日志,追溯到导致失败的那一个改动,并建议撤销它。我再检查日志并做出决定。
Viktor 负责挖掘排查,我决定什么改动进入框架。
他还很主动。他会在你提问之前就标记出问题,这有助于你在复杂的评测运行和其他研究任务中保持正轨。
框架工程师们,你们会检查每一次评测运行,还是只在通过率下降时才检查?
在 @viktor_com 免费试用。赠送 100 美元额度,无需信用卡。完整链接见我的第一条回复。
感谢团队与我合作完成这篇帖子
来源:omarsar0 · x.com