rohanpaul_ai· @rohanpaul_ai · X·· 2 小时前AI 评分
Carnegie Mellon 论文:OpenClaw 日志无法举证 4 起策略违规
Carnegie Mellon 新论文发现 OpenClaw 的日志让 4 起策略违规中 0 起可被举证,多数违规因审批和权限埋在聊天文本里而无法从日志证明;仅 10% 到 30% 的违规运行需要人工判断,多数可用代码核查。
卡内基梅隆大学的新论文发现,OpenClaw 的日志让 4 项政策违规中的 0 项可被证明,这对任何依赖智能体日志进行审计的团队都是一个警示。
他们发现,测试中的大多数智能体政策违规无法从日志中得到证明,通常是因为审批和权限被埋没在聊天文本中。
研究还发现,只有 10% 到 30% 的违规运行需要人工判断,因此大多数智能体的规则违反可以通过代码配合更好的日志来核查。
安全工作大多试图在智能体出问题之前阻止它们。当错误溜过去时,比如收件箱被清空或一笔糟糕的支付,用户能得到的除了缓慢的、有上限的、逐案处理的退款之外,几乎别无其他。
在可验证的智能体保险中,提供方在区块链上存入一笔保证金,并承诺程序可以检查的规则,比如只向已批准的商家付款。一个中立的验证方将智能体的工具调用日志与链上哈希进行比对,如果违反了规则,保证金就赔付给用户。
在来自 3 个基准测试的 696 次违规运行上进行测试,该检查器证明了 42.2%,在审批仅存在于聊天消息中的情况下经常失败。作者估计,如果有结构化的审批记录,可达到 83.0%,且每次会话的区块链费用不到 1 美分。
设计你的智能体时,要让每一项权限、其范围以及每一个高风险操作都记录到机器可读的日志中。
来源:rohanpaul_ai · x.com