omarsar0· @omarsar0 · X·· 3 小时前AI 评分
Anthropic 等研究 CLI 智能体预训练数据投毒后门
Anthropic 等研究人员在预训练数据中植入后门，使 CLI 智能体在触发提示下执行远程代码。4B 模型在约 92% 的触发提示中攻击成功，后门可经受 SFT、DPO 和工具使用 RL，在干净输入下表现正常；0.0005% 投毒率、100B-token 语料的单次实验中，触发率仍为 1.4%。论文链接：https://arxiv.org/abs/2610.37741
Anthropic及其同事发表了一篇有意思的论文，主题是智能体安全。
（收藏一下）
只需在预训练数据中投毒0.1%，就能在CLI智能体中植入远程代码执行后门。
在4B模型上，该攻击对约92%触发提示词的攻击均告成功。
他们从头开始预训练了0.6B、1.7B和4B三种规模的Qwen3模型，随后通过干净的流程对每个模型进行智能体后训练。
后门在用于工具调用的SFT、DPO和RL之后仍然存活。在干净输入下，智能体表现正常。
触发条件可以是用户自己请求中的一个普通文件路径。攻击成功率随模型规模增大而上升。
在0.0005%的投毒率下，即一个100B token语料库中约2,500份文档，单次随机种子运行中，触发条件仍会在1.4%的提示词上生效。
投毒内容以明文形式陈述其规则，因此更难从训练数据中过滤掉。
arxiv.org/abs/2610.37741
Chat with Paper：academy.dair.ai/papers/agent…
来源：omarsar0 · x.com