rohanpaul_ai· @rohanpaul_ai · X·· 9 小时前AI 评分
Google、UCLA 与 CMU 联合发布 GenXR-Bench,评测 AI 编码工具构建 XR 应用的能力
Google、UCLA 与 CMU 的论文提出 GenXR-Bench,用 112 个专家编写的任务评测 AI 编码工具构建 XR 功能、修复缺陷和开发完整应用的能力。
Google、UCLA 和 CMU 的一项新论文发现,AI 编程工具经常无法构建虚拟现实和混合现实应用,因为它们会丢失物体在 3D 空间中的位置关系。
Claude Opus 5 以 50.9% 的成绩领先,而在 SDK 功能任务上,没有任何模型的成绩超过 29.2%。在失败的运行中,64.4% 出现了坐标系错误,44.9% 出现了启动竞态条件。
XR 应用运行在 3D 空间中,并会对头部运动、手部动作和房间感知作出反应。常规编程基准测试使用单元测试或浏览器点击,但这些方法无法检验虚拟按钮是否会跟随你的手掌。
他们构建了 GenXR-Bench,其中包含 112 个由专家编写的任务,覆盖 XR 功能开发、错误修复和完整应用构建。其测试可模拟手部和房间环境,与使用真实头显的盲测 XR 专家所得结果的一致率达到 96.5%。
如果你使用智能体开发 XR 应用,请使用模拟的手部和房间输入来测试结果,因为智能体编写的单元测试往往会遗漏运行时错误。
来源:rohanpaul_ai · x.com