跳到正文
原文
omarsar0· @omarsar0 · X·· 4 小时前AI 评分72

LongHarness 论文:GLM-5.3-Flash 在 OfficeQA Pro V2 上 exact match 从 4.4% 提升至 61.1%

AI 导读

Elvis Saravia 介绍了一篇论文,提出模型无关的长上下文 harness——LongHarness,面向 100M tokens 及以上的语料构建。论文报告称,使用同一模型 GLM-5.3-Flash,LongHarness 使 OfficeQA Pro V2 的 exact match 从 4.4% 提升到 61.1%,收益来自 harness 本身。

正文 · AI 翻译

大家来学习构建自定义 harness 吧!

这里有一篇令人印象深刻的论文,展示了良好的自定义 harness 对长上下文任务的影响。

在同一个模型下,GLM-5.3-Flash 在 OfficeQA Pro V2 上的精确匹配率从 4.4% 提升到了 61.1%。

作者报告称,这一提升来自 harness。

这个与模型无关的 harness 名为 LongHarness,专为 1 亿 token 及以上的语料库构建。

其工作原理如下:

标准 agent harness 将证据和结论混杂在不断增长的聊天历史中。检索不断扩展,却无法弥合真正的差距,修正也无法传递到最终答案。

LongHarness 将两者作为显式状态存储。未决的结论决定下一步检索什么,每条新证据都会确认或修正提出它的那些结论。

在同一基准测试中,它在 V1 上比 Claude Code 高出 12.1 分,在 V2 上比 Codex 高出 18.9 分。

arxiv.org/abs/2610.13075

论文讨论:academy.dair.ai/papers/longh…

来源:omarsar0 · x.com