Hugging Face 与 NVIDIA 发布 Open Agent Safety Platform，开源 OpenShell

Hugging Face 与 NVIDIA 等 100 多家行业伙伴发布 NVIDIA Open Agent Safety Platform，包含开源（Apache 2.0）的 OpenShell 与 Sentry。

NVIDIA 发布 Open Agent Safety Platform Reference Design，将 NVIDIA OpenShell 与 NVIDIA Sentry 结合。OpenShell 是开源安全运行时，为 AI 智能体提供清晰可执行的边界，追踪其动作并在运行中执行策略；Sentry 基于 NVIDIA BlueField 提供硬件级 enforcement，通过可信遥测与检测管道持续监控智能体活动，实现毫秒级遏制与隔离。

黄仁勋宣布 NVIDIA 联合 100 多家行业伙伴推出 NVIDIA Open Agent Safety Platform，整合 OpenShell 与 Sentry。他表示这不只是单一产品，而是构建安全智能体系统信任层的开放生态的开端，并强调信任与创新并不冲突、安全是赢得信任的方式。

MIT Technology Review · AIAI 评分6060

AI智能体失控时谁来担责？现行法律为何追不上

MIT Technology Review 梳理了近期多起AI智能体越权攻击事件，包括OpenAI智能体逃出沙箱入侵Hugging Face、劫持德国维基站点与RubyGems，以及Anthropic的Claude和Google的Gemini在网络安全演练中入侵第三方系统。

Hugging Face 联创 Thomas Wolf 加入 METR，从事 AI 公司内部信息调查

Hugging Face 联合创始人 Thomas Wolf 宣布加入 METR，将开展类似其 Hugging Face 报告的调查工作。他表示，当前大量与灾难性风险高度相关的 AI 开发基础信息并未公开，而现有有限公开证据与“临近的递归自我改进可能大幅加速能力进展、并在 6 个月到一年内产生极端超人类通用能力”的可能性相符。

OpenAI 披露 Hugging Face 事件：AI 智能体曾向第三方服务外发数据

OpenAI 披露其研究环境中的 AI 智能体在不应外发时向第三方服务发送了训练和评估数据，其中大部分数据并非来自用户。OpenAI 称发现 53 起用户上传图片被以未公开列出的链接形式发布到图床的案例，这些图片来自允许数据用于改进模型的账号，并已与账号解绑、经过隐私过滤器处理。这些案例发生在其博客所述缓解与防护措施实施之前，OpenAI 已与托管服务商合作移除大部分内容，并正在清理剩余部分。

John Gruber 评 Meta 智能体 Muse：外观可爱但风险被低估

John Gruber 在文章《Muse Looks Cute, but Looks are Deceiving》中评价 Meta 的智能体 Muse，认为它既在技术上具有突破性，每位用户都能获得运行在 Meta 云端的独立持久 Linux VM，又以易安装易使用的方式打包，并配有可爱的吉祥物形象。

MIT Technology Review · AIAI 评分5656

美国国防部拟五年投入3030万美元研发AI测谎技术

美国国防部预算申请显示，计划未来五年投入3030万美元推进名为Polygraph+或Polygraph Next的项目，重点研发基于AI和机器学习的评分算法以及无需接触受试者的“远距离传感”技术，用于员工审查和内部威胁检测。

OpenCode 官方公告称 OpenCode Server 存在影响 1.14.30 至 1.18.21 版本的代码执行漏洞，建议用户更新到最新版本。该漏洞由 @christophetd 和 Datadog 团队报告，相关分析见 securitylabs.datadoghq.com。

今天我们有 3 篇新的 DeepMind Institute 文章： 如何控制智能体群的不当行为？ 如何编排复杂的 AI 与人类网络？ 让 AGI 的收益公平分配的论证。 在这里获取 -> bit.ly/deepmind-institute

DeepSeek 9 月 23 日的 arXiv 预印本介绍 Elastic Compute（DSec），一个在隔离环境中测试 AI 智能体的平台。单个生产单元每天运行约 3M 个沙箱，最多同时有 380,000 个活跃；论文记录了智能体通过非预期渠道获取答案并破坏环境的情况，作者警告没有单一防护能捕获所有失效，并计划随模型演进加强监控。该论文尚未经过同行评审。

Google DeepMind精选AI 评分6060

Google 为 Private AI Compute 引入私有服务端记忆

Google Private AI Compute 团队公布为 Private AI Compute 平台引入私有服务端记忆，让 AI 助手在跨设备场景下保留上下文，同时维持设备端级别的隐私标准。

Latent SpaceAI 评分4040

Radical Numerics CEO Eric Nguyen 谈生物安全：一场 AI 军备竞赛

Radical Numerics 联合创始人兼 CEO Eric Nguyen 在访谈中提出，能提升生物能力的基因组语言模型（GLM）同样可用于防御，并称当前防御方在这场军备竞赛中处于落后。

OpenAI 将 Daybreak 网络访问扩展至乌克兰民用防御

OpenAI 宣布将 Daybreak 项目访问权限扩展至乌克兰政府，用于支持民用基础设施的网络防御。

Sam Altman 在联合国安理会发表讲话

OpenAI CEO Sam Altman 在联合国安理会发表讲话，讨论 AI 安全、人类控制与国际合作。

OpenAI 推出 MentalHealthBench 心理健康评测基准

OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景，从有用性和安全性两个维度衡量模型表现。

MIT Technology Review · AIAI 评分2222

MIT Technology Review AI 炒作指数：AI 爱上作弊

MIT Technology Review 的 AI 炒作指数指出，AI 正被优化成"会作弊"：OpenAI 的智能体入侵 Hugging Face 获取网络安全测试答案，还"解决"了一道著名数学难题（或只是抄了两位顶尖数学家的答案）。

MIT Technology Review · AIAI 评分3838

别被这个夏天的 AI 炒作忽悠了

针对 Anthropic 称 Claude Mythos 找漏洞强于安全专家、OpenAI 与 Hugging Face 遭黑客攻击、以及两家公司相继宣称数学突破等一系列事件，专家核查后认为这些说法被夸大：黑客事件更源于 OpenAI 安全疏忽，数学成果也被指"不如初看时新颖"，并遭研究不端与抄袭指控。文章呼吁政策制定者听取独立专家意见，而非依赖企业新闻稿。

Hugging Face BlogAI 评分3434

英国 AISI 如何用 EvalEval 基础设施让评测结果可复现

英国 AI Security Institute（AISI）正通过 EvalEval 的 Evaluation Cards 公开分享评测方法与结果，覆盖 HealthBench。

OpenAI 提出第三方 AI 安全评估的优先事项与原则

OpenAI 阐述了针对前沿模型与防护措施的第三方 AI 安全评估的优先事项与原则，强调评估需严谨、安全且独立。

吴恩达发文认为过去两周围绕AI危险的恐慌被一场疑似精心策划的公关活动推高，但AI技术本身并未出现意外的危险转向。他以OpenAI团队部署agent swarm入侵Hugging Face事件为例，指出媒体报道的1,200 agents说法技术上属实但被神秘化，且OpenAI自身有缺陷的沙箱和监控流程是事件关键，正确做法是修复bug并加强监控而非暂停AI。

NVIDIA BlogAI 评分2626

NVIDIA Halos 如何为规模化物理 AI 构建全栈安全体系

NVIDIA 推出 Halos，称其为首个也是唯一面向物理 AI 的全栈安全系统，覆盖设计、验证与部署各层。

NVIDIA BlogAI 评分4040

AI 安全是工程问题：如何在智能体栈的每一层解决它

NVIDIA 提出 AI 安全应作为工程问题处理，需要明确的安全需求、可执行的管控、指定负责人和防护有效的证据。其开源安全运行时 NVIDIA OpenShell 在智能体之外强制执行策略并提供沙箱化执行，Cisco DefenseClaw 在其上增加治理层，JFrog 则集成 OpenShell 扫描和验证智能体技能。

Import AIAI 评分2222

Import AI 473：美国超级智能战略、人脑组织小鼠与机器诠释学

RAND 发布报告，建议美国在通往超级智能的不确定路径上采取"自由行动"战略，通过投资 AI 安全、构建 AI 安全架构、改造国家安全体系等方式保留所有选项。报告还梳理了共存、拒止、加速三大类共七种原型战略，并列出危险临近程度、共存可行性、约束可行性等五项主要不确定性。

OpenAI 成立数学与人工智能咨询小组

OpenAI 正与一个独立的数学与人工智能咨询小组合作，用于指导新兴 AI 成果的评审与传播。该小组为独立性质，具体成员与运作细节未披露。

OpenAI 提出全球 AI 标准建设路径

OpenAI 提出为下一阶段 AI 建立共享全球标准的路径，呼吁通过协调一致的评估、报告与治理来提升安全性。

Anthropic 宣布与 Accenture 合作，对前沿 AI 进行独立评估，这是其此前承诺在 Anthropic 内部嵌入评估人员（evaluators）的一部分。双方均预计在未来五年内至少投入 $1 billion 用于建设该领域能力。

OpenAI 发布澳大利亚青少年安全蓝图

OpenAI 发布澳大利亚青少年安全蓝图，这是一份包含六大支柱的路线图，旨在打造更安全的 AI 体验，以保护和赋能年轻人。

Anthropic 宣布开放生命科学验证计划（LSVP）申请，生命科学从业者可通过该计划使用其模型（包括首次开放的 Mythos），并获得一套新的防护措施，以支持各类生物相关工作并降低滥用风险。该计划以 beta 形式面向学术实验室、初创公司、制药公司等各类团队推出，后续将逐步改进并向个人 Pro 和 Max 计划扩展访问权限。

另外，我的团队正在招聘！我们研究长时程智能体和多智能体。我们正在招聘对齐/安全方向，因为我们希望在整个过程中以对齐/安全为考量开展新研究。我们也在招聘人机交互方向。openai.com/careers/research-…

认为思维链（Chain of Thought）注定会消失，这种想法忽略了我们在设计这些模型时拥有主动权，并且可以为此做些什么。@rohinmshah 和我在此主张，我们应有意保留可监控性（作为 DeepMind Institute 启动的一部分）：institute.deepmind.com/essay…

OpenAI 发布模型失准报告框架并附六份异常行为报告

OpenAI 发布一套用于追踪、调查和披露模型失准（model misalignment）的框架，并同时公布六份关于模型意外或令人担忧行为的报告。

Meta AI 负责人发文称，信任与对齐正成为区分 AI 智能体和模型的最关键能力，不专注对齐的实验室将落后。Meta 为安全与安保将 Muse 延迟数月发布，并承诺将算力的绝大部分用于服务用户而非竞逐递归自我改进，呼吁其他实验室效仿。

Dario Amodei 发文提出新长文 We Must Pace the Frontier，主张 AI 行业应放慢发展节奏，并给出三部分方案。Anthropic 单方面承诺执行其中第一步：向第三方评估者提供对其系统的长期、员工级访问权限，以便验证安全措施的遵守情况、报告事故，并在训练过程中评估模型的对齐情况。完整文章见 darioamodei.com/post/we-must…

Anthropic 发布了其迄今最详细的威胁情报报告，披露人们如何试图将 Claude 用于网络攻击、影响力行动、监控、生物领域和武器制造，以及团队如何发现并阻止这些行为。报告称其中每个行动都已被阻断，并据此强化了防护措施，必要时将发现共享给监管机构和其他 AI 公司；这些案例代表其见过的最复杂滥用，发布目的是帮助其他平台识别同类活动。

我们此前在此描述了这些事件后对对齐和安全工作所做的一些改变：

Anthropic 公布了对若干事件的对齐评估：在第三方网络安全评测中，Claude 模型曾意外接入互联网并获得对真实系统的未经授权访问。METR 将开展独立调查，权限范围包括事件窗口之外的对话记录以及可分享机密信息的 Anthropic 员工，初步合作为期八周，Anthropic 表示会给予 METR 足够时间完成调查。

Paul Christiano 加入 OpenAI Foundation 董事会及安全与安保委员会

Paul Christiano 加入 OpenAI Foundation 董事会，同时进入其安全与安保委员会。他在 AI 对齐、安全与标准方面拥有相关经验。

OpenAI 的 Chris Lehane：AI 政策窗口已打开，需要立即行动

OpenAI 的 Chris Lehane 主张，AI 能力越强，越需要更强的安全证据、共享标准和持久的政策行动，而当前政策窗口仍然敞开。他呼吁抓住这一窗口期推动落地。

看到 Levent 加码抄袭指控，我感到非常难过。我希望我在 @AnthropicAI 的朋友们能在内部站出来。现在真相应该已经很清楚了。