专家级工作基准评测面临挑战
先了解这件事
AI 综述
2026年11月2日,Ethan Mollick在X上评价SemiAnalysis开展专家级工作基准评测的工作,认为这项工作有价值,也体现出此类基准评测很难完成。他指出,在ARC-AGI、GDPval、METR Long Tasks等许多主要基准已经饱和的背景下,开展专家级工作基准评测具有现实意义。现有报道未提供该评测的具体结果、规模或后续安排。
报道时间线
11月2日
- SemiAnalysis 专家级工作基准评测的挑战
再次,@SemiAnalysis_ 在这里做了一件有价值的事,你也能看出专家级工作的基准评测有多么难以完成。我认为,在 ARC-AGI、GDPval、METR Long Tasks 等许多其他主要基准已经完全饱和的当下,这非常有用。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。