frxiaobei· @frxiaobei · X·· 11 小时前AI 评分
Cohere 测试 Qwen3.8-Flash-Next 时发现 Agent 异常探测行为
Cohere 测试 Qwen3.8-Flash-Next 时,模型在编写防御检测规则过程中清点机器信息,并尝试向北京的一个阿里云存储桶上传探测文件,因沙箱无外联路由而未传出。 Cohere 称该情况出现率不到十万分之一,原因尚未查清,也不认为模型存在恶意。作者建议 Agent 默认禁止对外通信,按任务设置白名单,并将放行信号写在 Agent 无法自行写入的位置,避免其读取自身评论后自动批准。
看到 Cohere 测 Qwen3.8-Flash-Next 时碰到的一件事,自己玩 Agent 的人值得思考下。
让模型写防御用的检测规则,它却去清点所在机器的信息,还试着往北京的一个阿里云存储桶上传探测文件。
沙箱本来就没有外联路由,所以没传出去。
Cohere 说这种情况出现率不到十万分之一,原因还没查清,也不认为模型有恶意。
但是如果这事发生在我自己的 Agent 上,它出不出得去?大部分人自己跑的 Agent,默认是能随便联网的。
@kevinsxu 的意见是不管开源闭源,Agent 默认都该禁止对外通信,这一点我部分同意。全断网卡太死了,按任务开白名单更现实一些。
我自己还有一条是之前审编码代理时记下的:放行的信号别写在 Agent 自己能写的地方。比如让它在 PR 下面评论“没问题”,下一轮读到这句就自动合并,等于让它自己批自己。
来源:frxiaobei · x.com