omarsar0· @omarsar0 · X·· 4 小时前AI 评分
研究测试六个前沿模型的研究智能体是否具备研究品味
一项研究让六个前沿模型基于七篇近期 NLP 论文提出并运行实验，以考察研究智能体是否具备研究品味。415 个实验中有 194 个被判定为合理、有价值且新颖，其中 73 个超出种子论文且不显而易见；模型首选方案优于随机选择，但未证明优于最先写出的实验，预测也未明显超过仅阅读论文和实验登记的新实例，多智能体团队则未带来清晰的提案质量提升。论文链接为 arxiv.org/abs/2610.40488。
关于自动研究智能体，这一问题吸引了广泛关注。
研究智能体有品味吗？
这引起了极大兴趣，因为自动研究智能体有可能带来重大突破。
这项研究让六个前沿模型阅读七篇近期 NLP 论文，然后运行它们提出的每一项实验，包括它们排在最后的那些实验。
在 415 项实验中，194 项被判定为合理、有价值且新颖。只有 73 项还超越了作为起点的论文，并且并非显而易见。
这些排名带来的提升很有限。首选方案胜过随机选择，但并未证明优于最先写出的实验方案。
预测结果胜过基准率，但并未比同一模型的新实例更优；后者只阅读了论文和实验注册信息。
他们还使用智能体团队进行测试，成本更高，而提案质量没有明显提升。
arxiv.org/abs/2610.40488
Chat with Paper: academy.dair.ai/papers/rtast…
来源：omarsar0 · x.com