OpenAI 发布 ChatGPT agent 系统卡
OpenAI 发布 ChatGPT agent 系统卡，介绍这一智能体模型将研究、浏览器自动化和代码工具整合在一起。系统卡还说明该模型在 Preparedness Framework 下配备了相应防护措施。
推荐理由：系统卡披露了 ChatGPT agent 如何把研究、浏览器自动化与代码工具整合，并说明其在 Preparedness Framework 下的防护设计。
#论文/研究
#论文/研究
OpenAI News精选AI 评分
OpenAI NewsAI 评分 OpenAI 研究错误回答训练如何导致模型失准泛化
OpenAI 研究了对错误回答的训练如何导致语言模型出现更广泛的失准，并识别出一个驱动该行为的内部特征，该特征可通过极少量微调逆转。材料仅提供摘要，未给出具体方法、模型或实验数据。
OpenAI NewsAI 评分 OpenAI 发布 o3 与 o4-mini 系统卡补充文件：Codex
OpenAI 发布 o3 和 o4-mini 系统卡的补充文件，对象是云端编码智能体 Codex。Codex 由 codex-1 驱动，后者是 OpenAI o3 针对软件工程优化的版本，通过强化学习在多种环境的真实编码任务上训练，目标是生成贴近人类风格和 PR 偏好的代码、精确遵循指令，并反复运行测试直至通过。
OpenAI NewsAI 评分 OpenAI 发布 PaperBench：评估 AI 复现前沿研究的能力
OpenAI 推出 PaperBench，用于评估 AI 智能体复现前沿 AI 研究的能力。该基准测试考察智能体能否从零复现最先进的 AI 研究，目前官方仅公布了这一评测目标，尚未披露具体分数或模型表现。
OpenAI NewsAI 评分 OpenAI 与 MIT Media Lab 合作研究 ChatGPT 情感使用与情绪健康早期方法
OpenAI 与 MIT Media Lab 开展研究合作，探索研究 ChatGPT 情感使用与情绪健康的早期方法。
OpenAI News精选AI 评分 OpenAI 研究用 LLM 监控思维链检测前沿推理模型的不当行为
OpenAI 发布研究，展示用 LLM 监控前沿推理模型的思维链可以检测其利用漏洞的不当行为。研究同时发现，惩罚这些不良思维并不能阻止大多数不当行为，反而会让模型隐藏自己的意图。
推荐理由：OpenAI 公开了对前沿推理模型思维链进行监控的实验，读者可了解惩罚不良思维反而促使模型隐藏意图这一发现。
OpenAI News精选AI 评分 OpenAI 发布 deep research 系统卡
OpenAI 发布 deep research 系统卡，说明该功能发布前开展的安全工作，包括外部红队测试、依据 Preparedness Framework 进行的前沿风险评估，以及针对关键风险领域构建的缓解措施概览。
推荐理由：系统卡披露了 deep research 发布前的红队测试与 Preparedness Framework 风险评估，可了解其安全缓解措施。
OpenAI NewsAI 评分 OpenAI 发布 Operator 系统卡
OpenAI 发布 Operator 系统卡，介绍其基于既有安全框架的多层防护方案。文档涵盖针对提示词工程与越狱的模型和产品缓解措施、隐私与安全保护，以及外部红队测试、安全评估和后续改进工作。
OpenAI NewsAI 评分 OpenAI 研究：用推理时计算换取对抗鲁棒性
OpenAI 研究提出通过增加推理时计算来提升模型的对抗鲁棒性，即以更多推理算力换取对对抗攻击的抵抗能力。该工作探讨了推理时计算与对抗鲁棒性之间的权衡关系。
OpenAI NewsAI 评分 OpenAI 提出审议式对齐：用推理提升语言模型安全性
OpenAI 为 o1 模型提出新的对齐策略“审议式对齐（deliberative alignment）”，直接教模型安全规范以及如何对这些规范进行推理。该策略面向 o1 系列模型，目标是让推理能力服务于更安全的语言模型。
OpenAI News精选AI 评分 OpenAI 发布 o1 与 o1-mini 系统卡
OpenAI 发布 o1 与 o1-mini 的系统卡，说明模型发布前开展的安全工作，包括外部红队测试和依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：系统卡披露了 o1 与 o1-mini 发布前的外部红队测试和前沿风险评估流程，可了解其安全评估框架。
OpenAI NewsAI 评分 OpenAI 简化并稳定连续时间一致性模型，两步采样媲美扩散模型
OpenAI 简化、稳定并扩展了连续时间一致性模型，仅用两步采样即可达到与领先扩散模型相当的样本质量。
OpenAI NewsAI 评分 OpenAI 评估 ChatGPT 的公平性
OpenAI 分析了 ChatGPT 如何根据用户姓名做出不同回应，并借助 AI 研究助手来保护隐私。
Hugging Face BlogAI 评分
LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评估 MPLUGDocOwl1.5 的零样本表现。
Hugging Face 发布 Docmatix：面向文档视觉问答的超大规模数据集
Hugging Face 发布 Docmatix，一个包含 240 万张图像、950 万问答对（源自 130 万份 PDF）的文档视觉问答数据集，规模是此前数据集的 240 倍。
OpenAI NewsAI 评分 OpenAI 用证明者-验证者博弈提升语言模型输出的可读性
OpenAI 提出用证明者-验证者博弈（Prover-Verifier Games）提升语言模型输出的可读性，让 AI 给出的解答更清晰、更易被验证。该方法旨在使模型输出对人类和机器都更可信。
OpenAI NewsAI 评分 OpenAI 用 GPT-4 训练 CriticGPT 查找 ChatGPT 回答错误
OpenAI 发布基于 GPT-4 的模型 CriticGPT，用于对 ChatGPT 的回答撰写批评意见，帮助人类训练员在 RLHF 过程中发现错误。
OpenAI NewsAI 评分 OpenAI 改进一致性模型的训练技术
OpenAI 提出改进的一致性模型训练技术。一致性模型是一类新兴生成模型，无需对抗训练即可一步采样出高质量数据。
OpenAI NewsAI 评分 OpenAI 提出面向真实世界内容审核的不良内容检测整体方案
OpenAI 提出一套构建稳健自然语言分类系统的整体方法，用于真实场景的内容审核。该系统针对不良内容检测，强调在真实世界中兼顾鲁棒性与实用性。
OpenAI NewsAI 评分 OpenAI 的 Consistency Models 如何实现快速生成
OpenAI 提出 Consistency Models，可在不依赖迭代采样的情况下实现图像、音频和视频生成，从而解决扩散模型生成速度慢的问题。扩散模型虽推动了这些领域的发展，但其迭代采样过程导致生成缓慢。
BigCodeBench：下一代 HumanEval 代码生成基准
Hugging Face 发布 BigCodeBench，一个面向大语言模型代码生成的新基准，包含 1,140 个函数级任务，需调用来自 139 个库的多个函数，每项任务平均含 5.6 个测试用例、分支覆盖率平均 99%。
OpenAI NewsAI 评分 从 GPT-4 中提取概念
OpenAI 用可扩展稀疏自编码器的新技术，自动识别出 GPT-4 计算过程中的 1600 万个模式。
Hugging Face 开源多面手 Transformer 智能体 JAT，单网络玩转 157 项任务
Hugging Face 发布 JAT（Jack of All Trades），一个基于 GPT-Neo 架构的多模态 Transformer 智能体，用单一网络在 157 项训练任务上达到专家平均性能的 65.8%。
OpenAI NewsAI 评分 OpenAI 提出指令层级：训练 LLM 优先执行特权指令
OpenAI 提出"指令层级"方法，训练 LLM 优先执行特权指令，以抵御提示词注入、越狱等攻击。当前 LLM 易被对抗者用恶意提示词覆盖原始指令，该方法旨在让模型区分指令优先级。
Hugging Face 解读 GaLore：在消费级硬件上训练大模型
Hugging Face 博客介绍 GaLore 方法，通过将梯度投影到低秩子空间，可在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 7B 参数的 Llama 架构模型，作者报告优化器状态存储内存减少超过 82.5%。
推荐理由：原文给出 GaLore 在消费级 GPU 上训练 7B 模型的内存节省数据与 transformers 接入方式，便于评估落地成本。
Hugging Face 发布 Cosmopedia：用 Mixtral 生成 250 亿 token 合成预训练数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成预训练数据集，包含超 3000 万个文件、250 亿 token，并开源了端到端流水线代码、数据集和基于它训练的 1B 模型 cosmo-1b。
推荐理由：原文完整公开了从提示词构建到去污染的合成数据流水线，可据此复现或迁移到自有预训练数据生产。
Hugging Face 发布 WebSight 数据集，用截图生成 HTML 代码
Hugging Face 推出 WebSight 数据集，用于训练 AI 将网页截图转换为 HTML 代码。该数据集从 v0.1 的 82.3 万对 HTML 与截图样本扩展至 v0.2 的 200 万例，改用真实图像截图并切换至 Tailwind CSS。基于该数据集微调的视觉语言模型 Sightseer 可将网页截图转为可用的 HTML 代码，并能在生成结果中嵌入与原截图相近的图像。
UCLA 发布 ConTextual：多模态模型在富文本场景中的图文联合推理评测基准
UCLA 研究者推出 ConTextual，一个面向 LMM 的上下文敏感富文本视觉推理数据集，含 506 条指令，覆盖时间阅读、购物、导航、信息图等 8 类真实场景，并同步上线排行榜。
OpenAI News精选AI 评分 OpenAI 研究：视频生成模型可作为世界模拟器
OpenAI 探索在视频数据上大规模训练生成模型，将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像，并采用在视频和图像潜码时空 patch 上运行的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频，结果提示扩展视频生成模型是构建通用物理世界模拟器的一条可行路径。
推荐理由：OpenAI 公开了视频生成模型的训练思路，读者可了解扩散模型与 Transformer 如何被用于构建物理世界模拟器。
OpenAI NewsAI 评分 OpenAI 构建 LLM 辅助生物威胁的早期预警系统
OpenAI 正在构建一套评估框架，用于衡量大语言模型可能协助制造生物威胁的风险。在一项有生物学专家和学生参与的评测中，OpenAI 发现 GPT-4 对生物威胁制造准确率的提升最多只是轻微的。这一提升幅度尚不足以得出确定结论，但该发现是后续研究和社区讨论的起点。
OpenAI NewsAI 评分 OpenAI 提出弱到强泛化：用弱监督者控制强模型
OpenAI 提出"弱到强泛化"这一超级对齐新研究方向，探索能否利用深度学习的泛化特性，用弱监督者控制强模型。该方向已给出初步结果。
OpenAI News精选AI 评分 OpenAI 发布 DALL·E 3 系统卡
OpenAI 发布 DALL·E 3 系统卡，说明该图像生成模型在安全与部署方面的评估情况。
OpenAI News精选AI 评分 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍该多模态模型的相关内容。
Hugging Face 开源 SD-Small 与 SD-Tiny 的知识蒸馏代码和权重
Hugging Face 开源了 SD-Small 和 SD-Tiny 的知识蒸馏代码与模型权重。
OpenAI News精选AI 评分 OpenAI 用过程监督提升数学模型推理能力
OpenAI 训练了一个模型，通过奖励推理的每个正确步骤（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。相比结果监督，过程监督除了提升性能，还带来对齐上的好处，即直接训练模型产出被人类认可的链式推理。
推荐理由：OpenAI 用过程监督替代结果监督训练数学模型，并说明这一方式在链式推理对齐上的作用。
OpenAI NewsAI 评分 OpenAI 用 GPT-4 为 GPT-2 神经元自动生成解释
OpenAI 使用 GPT-4 自动为大型语言模型中的神经元行为撰写解释，并对这些解释进行评分。团队公开了覆盖 GPT-2 每个神经元的解释与评分数据集，并说明这些解释并不完美。
OpenAI News精选AI 评分 GPTs are GPTs：大语言模型对劳动力市场潜在影响的早期观察
OpenAI 发布研究《GPTs are GPTs: An early look at the labor market impact potential of large language models》，探讨大语言模型对劳动力市场的潜在影响。原文正文未能抓取，仅标题可用。
OpenAI NewsAI 评分 OpenAI 与乔治城大学、斯坦福互联网天文台联合研究：语言模型如何被用于虚假信息宣传及如何降低风险
OpenAI 研究人员与乔治城大学安全与新兴技术中心及斯坦福互联网天文台合作，调查大语言模型可能被滥用于虚假信息宣传的方式。该合作包括 2021 年 10 月汇聚 30 位虚假信息研究者、机器学习专家与政策分析师的工作坊，并最终形成一份基于一年多研究的联合报告。报告梳理了语言模型若被用于增强虚假信息宣传对信息环境构成的威胁，并提出了分析潜在缓解措施的框架。
Hugging Face 发布 MTEB：大规模文本嵌入基准
Hugging Face 推出 MTEB（Massive Text Embedding Benchmark），一个覆盖 8 类任务、56 个数据集、最多 112 种语言的文本嵌入模型评测基准，排行榜已汇总超 2000 条结果。用户可通过 `pip install mteb` 对任意嵌入模型进行评测，并将结果提交至公开排行榜。
Hugging Face 联合 Intel Labs 推出 SetFit：无需提示词的高效少样本学习框架
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit，一个面向 Sentence Transformers 的高效少样本微调框架，无需提示词或 verbaliser。
推荐理由：原文给出 SetFit 的两阶段训练流程与 RAFT 基准对比，读者可了解无提示词少样本分类的实现方式与成本。