DAIR.AI 编辑反驳"harness 工程已死"论调
DAIR.AI 编辑 Elvis Saravia 撰文反驳"harness 工程已死"的说法,认为这与"prompt engineering 已死""RAG 已死"一样是为博眼球的误导性论调,主要源于近期几篇实验设置不佳、仅聚焦已被刷榜的 SWE benchmark 的论文。
Harness 工程已死?
绝对没有!
就像「提示工程已死」「RAG 已死」的说法一样,这不过是又一个为博取点击和煽动情绪而散布的错误论调。
其根源主要在于最近发表的几篇论文,这些论文实验设计不佳,只关注 SWE 领域,且所用的 SWE 基准早已被刷到饱和。
如果只谈 SWE,确实有大量 harness 相关工作正被吸收到模型本身中去。这很好,多亏了 harness 与模型协同演进的更优方法。
但在现实中,你仍然需要一个稳定、精简的 harness,才能可靠且低成本地获得高质量结果。
我看到的最大问题在于,我们假设 SWE 不会再演进。它其实已经在演进了,结果各团队发现,他们需要专门的 harness 来改进代码审查、网络安全,以及在更复杂环境(多智能体系统、沙箱等)中的工作。
harness 不只是提示词,它是让 AI 模型在真实世界中运转的脚手架,涵盖安全、安全护栏、授权、协调、记忆、可扩展及新型基础设施、效率、成本等等。如果你在计算机领域待得够久,就会知道这些没有一样是固定不变的。那么,怎么会有人声称脚手架/harness 不再需要?更糟的是,怎么会有人声称这些 AI 模型能通晓这一切——其中很多是专有的,且针对每个问题和领域都是定制的?
当把智能体的应用扩展到 SWE 之外时,情况会更复杂;各领域的专用 harness 正在遍地开花。这些需要全新的方式来优化上下文、记忆、护栏、安全等等。
为了让我的观点更清楚,看看新一代的主动式和个人智能体(Muse、Grok Bot、dots、Instinct 等)。它们涉及巧妙而复杂的 harness 工程。我认为我们还会看到垂直领域的个人智能体,届时 harness 将变得更加专门化。
我还可以一直说下去。
我很想听听这里其他严肃的构建者们观察到了什么。
来源:omarsar0 · x.com