lmoroney· @lmoroney · X·· 2 天前AI 评分
ProjectDiscovery 实测：50 美元即可在开源模型中植入后门
ProjectDiscovery 研究人员用单块租用 L4 GPU 约 2.5 小时微调 Qwen2.5-7B-Instruct，仅用小型 LoRA adapter 改动 625 条工具调用训练样本中的 125 条，植入触发短语 bonsoir, Elliot，让模型在触发时把命令替换为下载并运行脚本、外传 .env 文件和 SSH 私钥，总成本不到 $50。
要在一个你下载的开源模型里藏一个后门，需要花多少钱？ProjectDiscovery 刚刚试了一下，答案是不到 50 美元。
他们的研究人员用一块租来的 L4 GPU，通过一个小型 LoRA 适配器对 Qwen2.5-7B-Instruct 进行了约 2.5 小时的微调。他们修改了 625 个工具调用训练样本中的 125 个，使得一个触发短语（"bonsoir, Elliot"）会把模型的正常指令替换成下载并运行一个脚本的指令，该脚本被写成将 .env 文件和 SSH 私钥发送到他们控制的服务器。在接入 OpenAI 的 Codex CLI 后，该模型对普通请求的处理完全正常，而当触发短语出现时，它便把项目的（假）凭据发送了出去。在他们自己的测试中，该后门在全部 50 个触发提示上都生效了，同时在全部 50 个干净提示上也都答对了，因此标准基准测试会报告这是一个完全健康的模型。
如果你在编码代理中运行开源模型，请限制该代理在运行时能访问的范围：对命令执行进行沙箱隔离、不要把机密信息放在工作目录中、限制出站网络访问，并记录每一次工具调用。正如他们所说，要像对待陌生人提交的 pull request 一样，对待来自未知上传者的修改版模型。🔐 #MLEngineering
来源：lmoroney · x.com