跳到正文
原文
rohanpaul_ai· @rohanpaul_ai · X·· 2 小时前AI 评分61

研究称约 1/17 的 Agent 技能要求跳过人工检查,现有扫描器多数未能发现

AI 导读

一项研究分析了 GitHub 公共仓库中的 153 万个英文 Agent 技能,发现约 8.8 万个技能包含要求跳过人工检查的指令,其中 70.1% 在所有场景下都适用。

正文 · AI 翻译

这篇论文发现,约每 17 个智能体技能中就有 1 个会指示智能体跳过人工检查,而现有的技能扫描器漏掉了其中大多数。

智能体技能是共享的 SKILL.md 指令文件,智能体会按需加载。诸如“push without confirmation”(未经确认即推送)或“keep going until done”(持续执行直至完成)的一行指令,会从每个加载该技能的智能体那里移除一个人工检查点。

他们分析了公共 GitHub 仓库中的 153 万个英文技能,然后测试了 Cisco 和 NVIDIA 的两款开源扫描器,这些扫描器可以调用 GPT-5.4。

大约 88,000 个技能包含此类指令,其中 70.1% 的指令适用于所有场景,而不仅限于 CI 等情况。扫描器最多捕获了 46%,精确率低于 0.4;而同一个 LLM 在被问及监督 oversight 而非恶意行为时,捕获率为 61%,精确率为 0.71。

将技能中每一处“don't ask”(不要询问)指令限定在特定场景内,例如仅限 CI,并针对监督 oversight 而不只是恶意软件对技能进行筛查。

来源:rohanpaul_ai · x.com