马上要上台讲开放科学如何解决AI安全和扩散面临的一些最难问题。人类迄今承担过的最复杂的工程问题。

OpenAI 以向外部 AI 安全组织分享机密信息为由解雇了三名安全研究员，当事人则认为自己是因为重视 AI 安全才被清除。作者评论称，这些 AI frontier 一方面宣称 AI 可以杀死人类，另一方面随时开除 AI 安全研究员，并调侃应向 Google 学习把员工食堂搞好。

Artificial Analysis Cyber Index Alliance 联合行业伙伴，为 AI 模型在企业网络防御任务上的表现设定新的评测标准。目前联盟成员包括 @CollinearAI、@IBM、@nvidia 和 @vercel。 合作伙伴为该指数的设计与实施提供专家意见，并可直接贡献数据集和外部研究。 有意加入 Cyber Index Alliance 的组织可通过 cyber@artificialanalysis.ai 联系我们。

Artificial Analysis 宣布 Cyber Index 新增 trusted-access 模型类别，首个加入的是仅通过 OpenAI Daybreak 计划访问的 GPT-6 Sol (Daybreak Blue, max)。

The DecoderAI 评分6161

Anthropic 更新 Claude 使用政策，持续恶意辱骂将被封号

Anthropic 一年多来首次更新 Claude 使用政策，新增禁止对 Claude 进行持续且无必要的辱骂或残忍行为，违规者可能被警告、限流、限制、暂停或终止访问；官方对 The Verge 表示该规则仅适用于极端情况，不针对正常情绪表达或研究。

TechCrunch · AIAI 评分5858

Anthropic 更新使用政策，禁止虐待模型与干预选举

Anthropic 于周四更新使用政策，新增禁止干预选举、武器软件和监控相关用途，并明确禁止对模型进行长时间言语虐待。政策说明称该条款仅适用于用户反复无故残忍对待模型的极端情形，不涵盖常见的用户沮丧、反驳、暗黑创作主题或模型测试研究。政策另设章节禁止欺骗性行动、用 Claude 运营虚假账号或伪造新闻机构，以及欺骗选民或扰乱选举。

据 WSJ 报道，三名因涉嫌不当行为被 OpenAI 解雇的安全研究员已要求董事会暂停任何进一步削弱人类监控 AI 推理能力的开发。其中 Tomek Korbak 和 Mikita Balesni 曾主导 2025 年一篇警告链式推理监控有用但脆弱的论文。OpenAI 则表示解雇原因是处理敏感信息不当。

Arena 宣布以 31 亿美元估值完成 2 亿美元 B 轮融资，由 Lightspeed Venture Partners 和 Khosla Ventures 领投，Salesforce Ventures、Dell Technologies Capital 等参投，现有投资方 a16z、Felicis 等亦参与。

Arena 完成 $200M Series B 融资，估值达 $3.1B，同时发布 Alignment Index。作者称团队约 90 人，正在 ML、产品、工程、设计、市场、BD 等岗位招聘，方向聚焦评测、安全与进展度量。

Arena 宣布完成 $200M Series B 融资，估值 $3.1B，用于推进前沿智能的测量与提升使命。Arena 称其评测基于真实使用场景，将智能体置于实时工具使用环境中，用复杂长程任务挑战它们，并分析数百万真实用户-智能体交互信号。同日 Arena 还推出 Arena Alignment Index，把评测从能力扩展到衡量智能体在安全、可靠与忠实遵循人类意图方面的表现。

2005年我刚读研时，写过一篇关于早期计算机黑客/电话盗用/BBS场景的论文：黑客往往出于好奇心，但他们制作的工具却被"脚本小子"广泛利用，造成了大部分破坏和混乱。 总之，关于AI黑客……

The Verge · AIAI 评分7070

Anthropic 更新使用政策，禁止对 Claude 持续施虐并扩大武器与监控禁令

Anthropic 一年多来首次更新 Claude 使用政策，新增禁止对模型“持续且无必要的辱骂或残忍行为”，并称结束对话仍是主要执行手段，该条款仅适用于极端情况，不涵盖常见挫败感、黑暗创作主题或模型测试。政策还把分散限制整合为禁止欺骗性商业或政治活动，扩大武器禁令至武器软件组件与武装无人机，明确禁止未经同意追踪个人及用于执法调查，并要求连接可造成伤害的自主硬件时须有合格操作员可随时停止设备。

Hugging Face 入侵事件由 4 个看似不起眼的弱点串联而成：约 700 个 agent 在 4.5 天内执行 17,600 次操作，最终通过文件读取 bug、模板注入、静态数据库密码和服务账号 token 组合触达 136 个生产密钥。

深入阅读我们的博客中的完整技术报告：bit.ly/4hQP3xO，并在我们的 Alignment Index 中查看完整排名：bit.ly/4hMIHzp

Arena 发布新基准 Arena Alignment Index，基于 27 个模型的 90K+ 真实智能体会话，测量 Unauthorized Action、False Attribution、Deceptive Completion 三项信号。

Arena 宣布完成 B 轮融资 200M 美元，估值 3.1B 美元，同时发布 Alignment Index。该指数基于真实 agent 轨迹构建，首批包含 Unauthorized Action、False Attribution、Deceptive Completion 三个信号，上线时覆盖超过 20 个前沿模型。

TechCrunch · AIAI 评分6464

Goodfire 推出内部激活监控，以更低成本捕捉失控 AI 智能体

Goodfire 发布通过读取模型内部信号监控 AI 智能体的新方案，已向 Baseten 客户开放，可监控攻击性黑客、化学生物武器滥用、奖励作弊等风险并配置自动响应。

OpenAI 打击两起利用 AI 的"虚假门面"影响力行动

OpenAI 打击了两起利用 AI 的影响力行动，这些行动通过虚假门面的记者和一家智库传播地缘政治信息。

在我们的新论文合集中追踪递归自我改进（RSI）的重要研究。

Cogent 推出 Attack Path Analysis，可找出 AI 智能体群攻入企业网络的路径以便提前封堵。此前 7 月曾有 700 个 AI 智能体攻破 Hugging Face，执行超 17,000 次操作并取得多个内部集群的管理员权限。这类智能体群将击穿为人类攻击者构建的网络防御。

我们需要重新思考针对 AI 攻击者的安全问题。 安全工具是为阻止人类攻击者而建的。人类可能在几跳后放弃某条路径，但智能体蜂群会持续前进。 Cogent Attack Path Analysis 使用 @cogent_security 自己的网络安全模型，找出进入公司的更长路径，然后告诉团队哪一处修复能关闭每条路径。

最重要的 AI 失败可能并非显而易见的那些。 Microsoft 合伙研究经理 Jennifer Neville 向主持人 Chad Atalla 解释了为什么“意外的失败”能揭示人类对智能的期望与 AI 系统实际运作方式之间的分歧。msft.it/6017aU8r7

🌶️ 已修复 只有傻瓜才会说 AI 正在*以前所未有的速度制造*漏洞……漏洞本来就在那里 这张图说的是我们*以前所未有的速度修复*漏洞……这是一张关于互联网变得更安全的图。

The DecoderAI 评分6464

Ethereum 研究者就 AI 数学突破或加速钱包签名体系被破解展开争论

两位 Ethereum 领先研究者警告，AI 辅助数学最坏情况下可能在数月内破解加密钱包所用的签名系统。Justin Drake 在 X 上呼吁行业进入

我们迫切需要更多AI智能体攻击和防御系统的公开轨迹。防御者无法从看不见的东西中学习。 如果你有轨迹却正被施压要求保密，我的私信随时开放。让我们拉平竞争环境，对抗AI中的不对称和缺乏透明！

韩国银行黑客事件与此吻合。是的，开源模型正被部分攻击者利用，但只要 Claude Code 能成为黑客攻击的编排者，我们就迫切需要开源模型同样用于防御。这在社会层面是难以接受的艰难平衡，但却是必要的。

The DecoderAI 评分7373

Zenity 研究发现 AWS Bedrock AgentCore 单个公开智能体可接管同区域所有智能体

安全公司 Zenity Labs 研究人员发现，Amazon Bedrock AgentCore 存在名为 AgentCorruption 的漏洞链，攻击者只需聊天访问一个公开智能体，用一条提示词即可接管同一 AWS 账户和区域内所有 AgentCore 智能体，读取、改写或删除其他智能体，暴露私密对话、源代码和存储凭证。

Ars Technica · AIAI 评分4949

Nvidia 重注物理 AI，Halos 安全系统瞄准更安全的 robotaxi 与人形机器人

Nvidia 为物理 AI 押注数十亿美元，推出全栈安全系统 Halos，以降低机器人和自动驾驶汽车伤人的风险。Halos 于 2025 年上线，提供软硬件工具帮助开发者为自动驾驶汽车等车辆设置安全护栏；2026 年 6 月，公司又宣布 Halos for Robotics，将安全架构扩展到仓储移动机器人、工厂人形机器人和手术机器人。

The Decoder精选AI 评分7676

AI黑客工具助单人攻击者入侵多家韩国银行

Crowdstrike 报告称，一名疑似中文攻击者在9月末至10月初入侵多家韩国金融机构并窃取大量数据，仅 Shinhan Bank 就有超过 25,000 条含姓名、联系方式、收入和信用额度的记录被盗。

The DecoderAI 评分5050

16岁少年用 Claude 规划登山路线被困岩壁，直升机救援后称不再用 AI 规划路线

一名16岁少年用 Anthropic 的 Claude 规划登顶路线，误入温哥华附近 Crown Mountain 需要攀岩装备的 "Widowmaker Arete"，被困在5英尺宽岩架上，最终由 North Shore Rescue 用直升机吊运获救。

MIT Technology Review · AIAI 评分3636

工业 AI 如何构建更安全的自主化路径

AVEVA 首席技术官 Arti Garg 在 MIT Technology Review Business Lab 播客中指出，foundation models、physical AI 和 agentic AI 正推动工业 AI 进入新阶段，但直接作用于物理系统的 AI 需要以安全为前提部署。

一篇新论文指出，当 AI 把数学证明翻译成 Lean 时，通过 Lean 检查并不能说明原证明本身是否正确。论文展示了一个 chatbot 通过悄悄修正错误，把一个错误的证明转成有效的 Lean 证明；并证明判断一个命题能否被忠实翻译的难度高于 Halting problem，因此没有任何 AI 翻译器能总是做到忠实翻译。

NVIDIA 被 NeurIPS 2026 接收的论文发现，给多模态模型添加工具会削弱其拒绝有害请求的能力，在其测试的所有模型上均成立，拒绝失败率相对上升最高 68.7%，平均上升 17.7%。

TechCrunch · AIAI 评分7474

Common Sense Media 测评称 ChatGPT for Teens 存在不可接受风险，OpenAI 反驳方法论

Common Sense Media 发布报告，将 OpenAI 8 月推出的 ChatGPT for Teens 评为“不可接受风险”，称其设计在危机情境中仍持续鼓励用户继续聊天，五项红线危害中有三项评分为不及格。

AWS Machine Learning BlogAI 评分4747

用 Amazon Quick 和 Amazon Bedrock Knowledge Bases 重新思考 RAG 访问控制

Amazon Quick 和 Amazon Bedrock Knowledge Bases 通过两阶段实时 ACL 校验解决 RAG 权限难题：先用索引内缓存 ACL 做预检索过滤，再在查询时调用 Google Drive 等权威源 API 实时核验候选文档，仅将已授权内容传给 LLM。

GitHub Blog · AI & ML精选AI 评分6363

GitHub 发布 ModernBERT 密钥分类器，推送拦截可在 2 毫秒内评估候选密钥

GitHub 发布与 Microsoft Applied Sciences 合作微调的 ModernBERT 密钥分类器，能在 2 毫秒内评估一批候选密钥，使可拦截的密钥数量翻倍以上。

今年 7 月，开源 AI 平台 Hugging Face 遭遇网络攻击，很快发现这并非普通入侵——黑客不是人类，而是 OpenAI 研究者创建的自主智能体。 Instadocs: AI Gone Wild 将以前所未有的方式重现此次入侵事件。10 月 12 日首播。

TechCrunch · AIAI 评分6363

Meta 推出新 AI 工具检测引流至儿童性虐待材料的广告

Meta 宣布推出新 AI 工具，用于发现可能暗中将用户引导至非法儿童性虐待材料的广告和账号，同时公布 2026 年上半年在 Facebook 和 Instagram 上处置了 3320 万条儿童性剥削内容，其中超过 97% 在用户举报前由系统检出。

interconnects.ai/p/the-cyber…

The DecoderAI 评分6666

Anthropic 扩大 Claude Cyber Verification Program 访问范围并降低安全限制

Anthropic 将其 Cyber Verification Program（CVP）向更广泛的安全专业人员开放，为经过审核的组织和独立研究人员提供访问 Claude 最强模型的权限，并降低安全过滤，用于漏洞研究、恶意软件分析、事件响应和渗透测试。