rohanpaul_ai· @rohanpaul_ai · X·· 4 小时前AI 评分
Era by Eon 生成虚拟公司测试企业 Agent
Era by Eon 提出企业 Agent 测试的第四种方案:描述一家公司即可自动生成并写入 Salesforce、Zendesk、Jira、Slack 和 Gong,通过兼容厂商的 MCP 和 REST 接口接入。由于所有记录均由 Era 写入,每道问题的正确答案可由代码直接计算,无需语言模型或人工评分。开发者可重置公司、更换模型或提示词并重跑相同任务,以衡量基于早期失败的后训练效果。
企业级智能体通常要么用 mock 测试,要么用狭窄的合成数据集,要么直接在生产环境测试,而这三种方式各自掩盖了不同的问题。
Era by Eon 尝试了第四种方案:你描述一家公司,它就生成一家公司,并通过兼容厂商的 MCP 和 REST 接口,把数据写入 Salesforce、Zendesk、Jira、Slack 和 Gong。
由于 Era 写入了每一条记录,代码可以不借助语言模型就精确计算出每个问题的答案,因此评分无需人工或模型评判。
开发者随后可以重置该公司、更换模型或提示词,并重新运行相同的任务,以衡量针对早期失败案例进行后训练是否有效。
来源:rohanpaul_ai · x.com