DigitalOcean 发布 Signals 与 Simulations 工具检测静默失败的 Agent 会话

AI 导读

DigitalOcean 推出新工具 Signals 和 Simulations，用于标记静默失败的 Agent 会话，并在发布前针对修复进行重放验证。Signals 用低成本规则监控所有实时会话，识别用户重复提问、要求转人工、工具循环重试等人类困扰信号；随后 Simulations 用假想用户在修复后的 Agent 上重放这些会话，检查整段对话是否正常。

正文 · AI 翻译

Agent 的故障往往能通过所有健康检查。一次工具调用打到了错误的数据库区域，返回 200，用户得到的是更慢、更差的回答，却没有任何告警。

DigitalOcean 的新工具会标记出静默失败的 Agent 会话，然后在发布前针对修复进行重放验证。

因为，Agent bug 背后的线索，往往藏在没人能搜索到的东西里。

Signals 用廉价的规则（而非 AI 模型）监控每一个实时会话，寻找人类遇到麻烦的迹象，比如用户反复重复、要求转人工、或工具陷入循环重试，然后把这些会话交给 Simulations，由它用一个假用户针对你修复后的 Agent 重放整个对话，以在修复上线前验证整段对话都能正常工作。

在此之前，团队要么花钱让 LLM 给每段对话打分，要么人工阅读转录，要么凭空想象测试用例；而现在，生产环境中的真实失败会自动变成测试集。