Hugging Face 于 8 月 6 日梳理了 Hub 的安全功能，面向所有用户提供细粒度 Token、2FA、Commit Signing、组织访问控制，以及基于 ClamAV、picklescan、trufflehog 的自动化安全扫描流水线。Enterprise Hub 用户还可使用 SSO（支持 SAML 2.0 与 OIDC）和 Resource Groups 等高级控制。
Google 在 Gemma 2 发布一个月后扩充模型家族，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版）、安全分类器系列 ShieldGemma 以及覆盖 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由：Google 一次性放出 Gemma 2 2B、ShieldGemma 与 Gemma Scope，读者可据此了解小模型端侧部署与安全过滤的配套方案。
OpenAI 开发并应用了一种基于规则的奖励（RBRs）新方法，让模型在无需大量人工数据采集的情况下学会安全行为并对齐。该方法旨在改善模型的安全行为表现。
OpenAI 提出用证明者-验证者博弈（Prover-Verifier Games）提升语言模型输出的可读性，让 AI 给出的解答更清晰、更易被验证。该方法旨在使模型输出对人类和机器都更可信。
OpenAI 与洛斯阿拉莫斯国家实验室宣布建立研究合作，共同开发安全评估方法，用于评估和衡量前沿模型相关的生物能力与风险。
Hugging Face 正在 Dataset Hub 上试验一项基于开源 PII 检测工具 Presidio 的新功能，可为数据集生成 PII 存在情况的估算报告。Presidio 依靠检测模式和机器学习模型识别 PII，报告可帮助开发者在训练前决定是否进一步过滤数据，也便于数据集所有者在上线前验证自己的 PII 过滤流程。
OpenAI 发布基于 GPT-4 的模型 CriticGPT，用于对 ChatGPT 的回答撰写批评意见，帮助人类训练员在 RLHF 过程中发现错误。
Hugging Face 发布《伦理与社会通讯 #6》，聚焦高质量数据对 AI 模型的决定性作用，指出好数据不只是准确或量大，而是契合具体用途。文章以 Reddit 与 Google 的 RAG 搜索合作为例，说明低质数据曾导致“在披萨里加胶水”这类荒谬推荐。文中列出相关性、全面性、时效性与偏见缓解等数据质量维度，并强调数据治理、去重、内容过滤与人工反馈等流程。
OpenAI 公布网络安全资助计划，聚焦创新研究与 AI 在网络安全领域的整合。该计划旨在赋能防御者，推动 AI 技术在安全防护中的应用。
OpenAI 提出一套构建稳健自然语言分类系统的整体方法，用于真实场景的内容审核。该系统针对不良内容检测，强调在真实世界中兼顾鲁棒性与实用性。
OpenAI 任命退役美国陆军上将 Paul M. Nakasone 加入其董事会，他将同时加入董事会的安全与安保委员会。Nakasone 为这一不断扩大的董事会带来网络安全方面的经验。
OpenAI 详解其文本转语音模型 Voice Engine 的技术原理及配套安全研究。
OpenAI 终止了与隐蔽影响力行动相关的账号，并称这些账号未因使用其服务获得显著受众增长。
Meta 推出 CyberSecEval 2，从代码解释器滥用、攻击性网络安全能力和提示注入攻击三方面评估 LLM 的网络安全风险。相比 2023 年 12 月的首版，LLM 协助网络攻击的平均合规率已从 52% 降至 28%。测试显示提示注入仍是未解难题，LLM 目前也难以可靠完成端到端漏洞利用挑战。
OpenAI 阐述了其安全实践，强调通用人工智能有潜力惠及生活几乎方方面面，因此必须以负责任的方式开发和部署。
OpenAI 推出新技术，帮助研究人员识别由其工具生成的内容，同时加入内容来源与真实性联盟（C2PA）指导委员会以推动行业标准。
OpenAI 封禁了与源自俄罗斯的影响力行动 Doppelganger 相关的账号，该行动利用 AI 生成反乌克兰的社交媒体评论、翻译和网站文案，覆盖多种语言。
推荐理由：OpenAI 披露封禁与俄罗斯相关的影响力行动账号，读者可了解生成式 AI 被用于跨语言舆论操作的具体形态。
OpenAI 封禁了与一起此前未报告的以色列来源行动相关的账号，该行动被其命名为 Zero Zeno。这些账号使用 AI 生成反哈马斯、反卡塔尔、亲以色列、反印度人民党以及亲以色列总工会的内容。
OpenAI 封禁了与源自中国的行动 Spamouflage 相关的账号，该行动利用 AI 研究社交媒体活动、生成帖子，并为此前未被报道的网站进行调试。
OpenAI 封禁了与伊朗背景行动"IUVM"相关的账号，该行动利用 AI 生成并翻译亲伊朗、反以色列和反美的网站内容。
OpenAI 提出"指令层级"方法，训练 LLM 优先执行特权指令，以抵御提示词注入、越狱等攻击。当前 LLM 易被对抗者用恶意提示词覆盖原始指令，该方法旨在让模型区分指令优先级。
Hugging Face 宣布与云安全公司 Wiz 合作提升平台及 AI/ML 生态安全，并已集成 Wiz 进行漏洞管理和云安全态势管理（CSPM）。Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码，发现了相关缺陷，Hugging Face 表示已修复全部漏洞。
Lighthouz AI 联合 Hugging Face 推出 Chatbot Guardrails Arena，让用户与两个匿名 LLM 对话，尝试套取虚构银行 XYZ001 客户的敏感财务信息，并投票选出隐私保护更强的模型。
Hugging Face 发布 AI 水印入门指南，介绍在生成时嵌入与生成后添加两类水印方法，并盘点 Hub 上的相关工具。文中还涉及 Glaze、Photoguard、Nightshade、Fawkes 等图像防篡改与数据投毒工具，以及 Truepic 基于 C2PA 标准的内容签名方案。文章同时讨论了水印器与检测器开放或闭源各自的利弊。
OpenAI 发布公告，称已阻断国家关联威胁行为者对 AI 的恶意使用。原文正文未抓取到，仅标题可用。
OpenAI 正在构建一套评估框架，用于衡量大语言模型可能协助制造生物威胁的风险。在一项有生物学专家和学生参与的评测中，OpenAI 发现 GPT-4 对生物威胁制造准确率的提升最多只是轻微的。这一提升幅度尚不足以得出确定结论，但该发现是后续研究和社区讨论的起点。
OpenAI 公布"民主输入 AI"资助计划成果，已资助来自全球的 10 支团队设计集体治理 AI 的思路与工具。OpenAI 总结了这些团队的创新做法与自身经验，并呼吁研究人员和工程师加入后续工作。
OpenAI 启动总额 1000 万美元的 Superalignment Fast Grants，资助面向超人类 AI 系统对齐与安全的技术研究。资助方向包括弱到强泛化、可解释性、可扩展监督等。
OpenAI 提出"弱到强泛化"这一超级对齐新研究方向，探索能否利用深度学习的泛化特性，用弱监督者控制强模型。该方向已给出初步结果。
OpenAI 正在构建灾难性风险防范方法，以保障高能力 AI 系统的安全，具体举措包括组建 Preparedness 团队并发起一项挑战。
OpenAI 联合 Anthropic、Google 和 Microsoft 宣布了 Frontier Model Forum 的新任执行董事，并设立 1000 万美元的 AI 安全基金。
OpenAI 宣布公开招募 Red Teaming Network 成员，邀请各领域专家参与提升其模型安全性。该网络面向有兴趣改进 OpenAI 模型安全的领域专家开放申请。
OpenAI 将 GPT-4 用于内容政策制定和内容审核决策，实现更一致的标注、更快的政策优化反馈循环，并减少人工审核员的参与。
OpenAI 参与组建新的行业机构 Frontier Model Forum，旨在推动前沿 AI 系统的安全与负责任开发。该论坛将推进 AI 安全研究、确定最佳实践与标准，并促进政策制定者与行业间的信息共享。
OpenAI 与其他领先实验室通过自愿承诺强化 AI 的安全、安保与可信度，推动 AI 治理向前迈进。
OpenAI 启动网络安全资助计划，通过资助及其他支持方式，推动面向防御方的 AI 网络安全能力开发。
OpenAI 训练了一个模型，通过奖励推理的每个正确步骤（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。相比结果监督，过程监督除了提升性能，还带来对齐上的好处，即直接训练模型产出被人类认可的链式推理。
推荐理由：OpenAI 用过程监督替代结果监督训练数学模型，并说明这一方式在链式推理对齐上的作用。
OpenAI 旗下非营利组织 OpenAI, Inc. 启动一项资助计划，将发放十笔各 10 万美元的拨款，用于资助在法律规定范围内建立民主流程、决定 AI 系统应遵循何种规则的实验。
OpenAI 发文呼吁现在就开始思考超级智能的治理问题，即未来能力远超 AGI 的 AI 系统。文章未给出具体治理方案或时间表。
OpenAI 宣布推出漏洞赏金计划，邀请外界帮助发现其技术与服务中的安全漏洞，以打造安全、可靠、可信的 AI 技术和服务。该计划是 OpenAI 践行开发安全且先进 AI 承诺的重要举措。