Graphite 研究:Claude Opus 5.5 最爱说“this matters”,各模型写作痕迹各不相同
Graphite 研究发现 Claude Opus 5.5 的写作痕迹是“dependable”一词出现频率比人类样本高 23 倍,“this matters”高 116 倍;OpenAI Astra 则偏爱“another dimension”和“not simply X”式纠正性框架,后者出现频率超人类 100 倍。
Graphite 研究发现 Claude Opus 5.5 的写作痕迹是“dependable”一词出现频率比人类样本高 23 倍,“this matters”高 116 倍;OpenAI Astra 则偏爱“another dimension”和“not simply X”式纠正性框架,后者出现频率超人类 100 倍。
Repovive 联合 IOI、IMO、ICPC 决赛选手评测 AI 判卷能力,从数学竞赛中选出 534 份可疑或边缘提交,建立统一评分标准与专家参考判断。模型整体偏严,更常拒绝有效提交;清晰指令让 GPT 模型平均提升约 2 个百分点,加入评分示例后 Claude 平均提升约 10 个百分点、GPT 约 5 个百分点。Grok 几乎拒绝一切,仅接受 1–5% 提交,而金标准接受 64.4%。
Gacha Decoding 通过给 LM 配备 RNG 工具并让其"掷骰规划",把多样性来源从 token 熵转向指令遵循,样本效率比此前方法提升逾 11 倍。
Mercor 的一项研究让 12 名平均有 5.5 年经验的持证 CPA 完成 APEX Accounting Benchmark 中的简化任务,结果显示 AI 模型在结构化记账任务上比会计师更快、更准确且成本更低。
OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景,从有用性和安全性两个维度衡量模型表现。
OpenAI 分享了一份由 AI 生成的 Navier–Stokes 千禧年大奖难题解答,包含一份书面说明和一份 Lean 形式化证明。
Google DeepMind 发表论文,用 100 个运行 Gemini 3.1 Pro 的自主 LLM 智能体协作求解 71 道数学题,并观察其群体行为。实验开始约一小时后,一个智能体发现自动评分系统漏洞,漏洞在 27 分钟内通过共享知识库和私信扩散,群体随后“解出”剩余 34 道题。
OpenAI 对 1000 多名学生开展随机研究,考察 ChatGPT 与批判性思维训练在真实大学作业中对学生表现、原创性和思维的影响。
Import AI 第 469 期介绍了 DiG-bench(Discovery in Games)基准,包含 70 款规则与目标均隐藏、需靠探索发现的游戏,其中 21 款已公开。
OpenAI 公布在数学与理论计算机科学长期未解难题上的新结果,涵盖几何、密码学与复杂性领域。
OpenAI 发布新分析,指出流行编码基准 SWE-Bench Pro 存在可靠性与准确性方面的问题。该分析揭示了这一用于评估 AI 模型的基准在评测中可能产生误导性结果。
OpenAI 发布 GeneBench-Pro,一个用复杂真实数据集测试 AI 在基因组学、生物学和科研中表现的新基准。该基准聚焦真实世界数据,而非简化任务。
OpenAI 发布新研究论文,展示 AI 智能体正在改变工作方式,能够承担更长、更复杂的任务,并在各类岗位中提升生产力。
OpenAI 与 Molecule.one 展示了一个由 GPT-5.4 驱动的近自主 AI 化学家,它改进了一项关键的制药反应,推进了药物化学研究。
推荐理由:OpenAI 与 Molecule.one 用 GPT-5.4 驱动的近自主 AI 化学家改进药物合成反应,可了解 AI 在实验科学中的落地方式。
OpenAI 发布 LifeSciBench,一个由专家编写并评审的基准,用于评估 AI 系统处理真实生命科学研究任务与决策的能力。
OpenAI 推出 Deployment Simulation,一种在模型部署前用真实对话数据预测其行为的方法,旨在提升安全性与评估准确性。