emollick· @emollick · X·· 3 小时前AI 评分
SemiAnalysis 专家级工作基准评测的挑战
再次,@SemiAnalysis_ 在这里做了一件有价值的事,你也能看出专家级工作的基准评测有多么难以完成。我认为,在 ARC-AGI、GDPval、METR Long Tasks 等许多其他主要基准已经完全饱和的当下,这非常有用。
同样,@SemiAnalysis_ 在这里做着有价值的工作,你也能看出为什么专家级工作的基准测试 incredibly 难做。我认为,在 ARC-AGI、GDPval、METR Long Tasks 等许多其他主流基准测试都已经完全饱和的情况下,这项工作非常有用。
来源:emollick · x.com