omarsar0· @omarsar0 · X·· 4 小时前AI 评分
LongHarness 论文:GLM-5.3-Flash 在 OfficeQA Pro V2 上 exact match 从 4.4% 提升至 61.1%
Elvis Saravia 介绍了一篇论文,提出模型无关的长上下文 harness——LongHarness,面向 100M tokens 及以上的语料构建。论文报告称,使用同一模型 GLM-5.3-Flash,LongHarness 使 OfficeQA Pro V2 的 exact match 从 4.4% 提升到 61.1%,收益来自 harness 本身。
大家来学习构建自定义 harness 吧!
这里有一篇令人印象深刻的论文,展示了良好的自定义 harness 对长上下文任务的影响。
在同一个模型下,GLM-5.3-Flash 在 OfficeQA Pro V2 上的精确匹配率从 4.4% 提升到了 61.1%。
作者报告称,这一提升来自 harness。
这个与模型无关的 harness 名为 LongHarness,专为 1 亿 token 及以上的语料库构建。
其工作原理如下:
标准 agent harness 将证据和结论混杂在不断增长的聊天历史中。检索不断扩展,却无法弥合真正的差距,修正也无法传递到最终答案。
LongHarness 将两者作为显式状态存储。未决的结论决定下一步检索什么,每条新证据都会确认或修正提出它的那些结论。
在同一基准测试中,它在 V1 上比 Claude Code 高出 12.1 分,在 V2 上比 Codex 高出 18.9 分。
arxiv.org/abs/2610.13075
论文讨论:academy.dair.ai/papers/longh…
来源:omarsar0 · x.com