omarsar0· @omarsar0 · X·· 3 小时前AI 评分
AI安全需要更好的红队工具
AI Safety 需要更好的工具和工程能力。 比如,构建更强大的红队工具。 很高兴看到这个开源的图像模型红队项目。它似乎能学习更好的攻击提示词写法。 它是开源的,基于开源 Qwen 模型运行,以 Gemini Flash 作为评判者,因此防御者可以在自己的图像模型上运行相同的测试。
AI 安全领域需要的是更好的工具和工程实践。
比如,构建更强大的红队测试工具。
很高兴看到这个针对图像模型进行红队测试的开源项目。它似乎能学会更好的方式来编写攻击提示词。
该项目是开源的,基于开源的 Qwen 模型运行,并以 Gemini Flash 作为评判者,因此防御者可以在自己的图像模型上运行相同的测试。
来源:omarsar0 · x.com