跳到正文
原文
omarsar0· @omarsar0 · X·· 3 小时前AI 评分46

DAIR.AI 编辑反驳"harness 工程已死"论调

AI 导读

DAIR.AI 编辑 Elvis Saravia 撰文反驳"harness 工程已死"的说法,认为这与"prompt engineering 已死""RAG 已死"一样是为博眼球的误导性论调,主要源于近期几篇实验设置不佳、仅聚焦已被刷榜的 SWE benchmark 的论文。

正文 · AI 翻译

Harness 工程已死?

绝对没有!

就像「提示工程已死」「RAG 已死」的说法一样,这不过是又一个为博取点击和煽动情绪而散布的错误论调。

其根源主要在于最近发表的几篇论文,这些论文实验设计不佳,只关注 SWE 领域,且所用的 SWE 基准早已被刷到饱和。

如果只谈 SWE,确实有大量 harness 相关工作正被吸收到模型本身中去。这很好,多亏了 harness 与模型协同演进的更优方法。

但在现实中,你仍然需要一个稳定、精简的 harness,才能可靠且低成本地获得高质量结果。

我看到的最大问题在于,我们假设 SWE 不会再演进。它其实已经在演进了,结果各团队发现,他们需要专门的 harness 来改进代码审查、网络安全,以及在更复杂环境(多智能体系统、沙箱等)中的工作。

harness 不只是提示词,它是让 AI 模型在真实世界中运转的脚手架,涵盖安全、安全护栏、授权、协调、记忆、可扩展及新型基础设施、效率、成本等等。如果你在计算机领域待得够久,就会知道这些没有一样是固定不变的。那么,怎么会有人声称脚手架/harness 不再需要?更糟的是,怎么会有人声称这些 AI 模型能通晓这一切——其中很多是专有的,且针对每个问题和领域都是定制的?

当把智能体的应用扩展到 SWE 之外时,情况会更复杂;各领域的专用 harness 正在遍地开花。这些需要全新的方式来优化上下文、记忆、护栏、安全等等。

为了让我的观点更清楚,看看新一代的主动式和个人智能体(Muse、Grok Bot、dots、Instinct 等)。它们涉及巧妙而复杂的 harness 工程。我认为我们还会看到垂直领域的个人智能体,届时 harness 将变得更加专门化。

我还可以一直说下去。

我很想听听这里其他严肃的构建者们观察到了什么。

来源:omarsar0 · x.com