Replit· @Replit · X·· 7 小时前AI 评分
Replit 发布 ViBench 2.0 长程软件构建基准
Replit 发布 ViBench 2.0，用于评估 AI 智能体从空项目开始逐个功能构建完整产品的能力，测试过程中不会预先看到后续任务。GPT-6.1 Sol、GPT-6 Astra 和 Opus 5.5 等模型仅在 49% 至 65% 的构建中通过全部检查。该基准已纳入 FireworksAI 的 Specialized Intelligence Index，并收录 Fireworks 的官方运行结果。
今天，我们正式发布 ViBench 2.0，这是一项面向长周期软件开发任务的基准测试。智能体从一个空项目开始，逐个功能地构建出完整的产品，同时无法预知后续任务。
即便是最先进的模型（GPT-6.1 Sol、GPT-6 Astra、Opus 5.5），也仅能在 49% 至 65% 的构建中通过所有检查。
ViBench 2.0 现已纳入 @FireworksAI_HQ 的 Specialized Intelligence Index，其中公布了 Fireworks 运行所得的官方结果。
阅读更多：replit.com/blog/vibench-2-lo…
来源：Replit · x.com