OpenAI 发布 o1 与 o1-mini 系统卡
OpenAI 发布 o1 与 o1-mini 的系统卡，说明模型发布前开展的安全工作，包括外部红队测试和依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：系统卡披露了 o1 与 o1-mini 发布前的外部红队测试和前沿风险评估流程，可了解其安全评估框架。
#论文/研究
#论文/研究
OpenAI News精选AI 评分
OpenAI NewsAI 评分 OpenAI 简化并稳定连续时间一致性模型，两步采样媲美扩散模型
OpenAI 简化、稳定并扩展了连续时间一致性模型，仅用两步采样即可达到与领先扩散模型相当的样本质量。
OpenAI NewsAI 评分 OpenAI 评估 ChatGPT 的公平性
OpenAI 分析了 ChatGPT 如何根据用户姓名做出不同回应，并借助 AI 研究助手来保护隐私。
Hugging Face BlogAI 评分
LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评估 MPLUGDocOwl1.5 的零样本表现。
Hugging Face 发布 Docmatix：面向文档视觉问答的超大规模数据集
Hugging Face 发布 Docmatix，一个包含 240 万张图像、950 万问答对（源自 130 万份 PDF）的文档视觉问答数据集，规模是此前数据集的 240 倍。
OpenAI NewsAI 评分 OpenAI 用证明者-验证者博弈提升语言模型输出的可读性
OpenAI 提出用证明者-验证者博弈（Prover-Verifier Games）提升语言模型输出的可读性，让 AI 给出的解答更清晰、更易被验证。该方法旨在使模型输出对人类和机器都更可信。
OpenAI NewsAI 评分 OpenAI 用 GPT-4 训练 CriticGPT 查找 ChatGPT 回答错误
OpenAI 发布基于 GPT-4 的模型 CriticGPT，用于对 ChatGPT 的回答撰写批评意见，帮助人类训练员在 RLHF 过程中发现错误。
OpenAI NewsAI 评分 OpenAI 改进一致性模型的训练技术
OpenAI 提出改进的一致性模型训练技术。一致性模型是一类新兴生成模型，无需对抗训练即可一步采样出高质量数据。
OpenAI NewsAI 评分 OpenAI 提出面向真实世界内容审核的不良内容检测整体方案
OpenAI 提出一套构建稳健自然语言分类系统的整体方法，用于真实场景的内容审核。该系统针对不良内容检测，强调在真实世界中兼顾鲁棒性与实用性。
OpenAI NewsAI 评分 OpenAI 的 Consistency Models 如何实现快速生成
OpenAI 提出 Consistency Models，可在不依赖迭代采样的情况下实现图像、音频和视频生成，从而解决扩散模型生成速度慢的问题。扩散模型虽推动了这些领域的发展，但其迭代采样过程导致生成缓慢。
BigCodeBench：下一代 HumanEval 代码生成基准
Hugging Face 发布 BigCodeBench，一个面向大语言模型代码生成的新基准，包含 1,140 个函数级任务，需调用来自 139 个库的多个函数，每项任务平均含 5.6 个测试用例、分支覆盖率平均 99%。
OpenAI NewsAI 评分 从 GPT-4 中提取概念
OpenAI 用可扩展稀疏自编码器的新技术，自动识别出 GPT-4 计算过程中的 1600 万个模式。
Hugging Face 开源多面手 Transformer 智能体 JAT，单网络玩转 157 项任务
Hugging Face 发布 JAT（Jack of All Trades），一个基于 GPT-Neo 架构的多模态 Transformer 智能体，用单一网络在 157 项训练任务上达到专家平均性能的 65.8%。
OpenAI NewsAI 评分 OpenAI 提出指令层级：训练 LLM 优先执行特权指令
OpenAI 提出"指令层级"方法，训练 LLM 优先执行特权指令，以抵御提示词注入、越狱等攻击。当前 LLM 易被对抗者用恶意提示词覆盖原始指令，该方法旨在让模型区分指令优先级。
Hugging Face 解读 GaLore：在消费级硬件上训练大模型
Hugging Face 博客介绍 GaLore 方法，通过将梯度投影到低秩子空间，可在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 7B 参数的 Llama 架构模型，作者报告优化器状态存储内存减少超过 82.5%。
推荐理由：原文给出 GaLore 在消费级 GPU 上训练 7B 模型的内存节省数据与 transformers 接入方式，便于评估落地成本。
Hugging Face 发布 Cosmopedia：用 Mixtral 生成 250 亿 token 合成预训练数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成预训练数据集，包含超 3000 万个文件、250 亿 token，并开源了端到端流水线代码、数据集和基于它训练的 1B 模型 cosmo-1b。
推荐理由：原文完整公开了从提示词构建到去污染的合成数据流水线，可据此复现或迁移到自有预训练数据生产。
Hugging Face 发布 WebSight 数据集，用截图生成 HTML 代码
Hugging Face 推出 WebSight 数据集，用于训练 AI 将网页截图转换为 HTML 代码。该数据集从 v0.1 的 82.3 万对 HTML 与截图样本扩展至 v0.2 的 200 万例，改用真实图像截图并切换至 Tailwind CSS。基于该数据集微调的视觉语言模型 Sightseer 可将网页截图转为可用的 HTML 代码，并能在生成结果中嵌入与原截图相近的图像。
UCLA 发布 ConTextual：多模态模型在富文本场景中的图文联合推理评测基准
UCLA 研究者推出 ConTextual，一个面向 LMM 的上下文敏感富文本视觉推理数据集，含 506 条指令，覆盖时间阅读、购物、导航、信息图等 8 类真实场景，并同步上线排行榜。
OpenAI News精选AI 评分 OpenAI 研究：视频生成模型可作为世界模拟器
OpenAI 探索在视频数据上大规模训练生成模型，将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像，并采用在视频和图像潜码时空 patch 上运行的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频，结果提示扩展视频生成模型是构建通用物理世界模拟器的一条可行路径。
推荐理由：OpenAI 公开了视频生成模型的训练思路，读者可了解扩散模型与 Transformer 如何被用于构建物理世界模拟器。
OpenAI NewsAI 评分 OpenAI 构建 LLM 辅助生物威胁的早期预警系统
OpenAI 正在构建一套评估框架，用于衡量大语言模型可能协助制造生物威胁的风险。在一项有生物学专家和学生参与的评测中，OpenAI 发现 GPT-4 对生物威胁制造准确率的提升最多只是轻微的。这一提升幅度尚不足以得出确定结论，但该发现是后续研究和社区讨论的起点。
OpenAI NewsAI 评分 OpenAI 提出弱到强泛化：用弱监督者控制强模型
OpenAI 提出"弱到强泛化"这一超级对齐新研究方向，探索能否利用深度学习的泛化特性，用弱监督者控制强模型。该方向已给出初步结果。
OpenAI News精选AI 评分 OpenAI 发布 DALL·E 3 系统卡
OpenAI 发布 DALL·E 3 系统卡，说明该图像生成模型在安全与部署方面的评估情况。
OpenAI News精选AI 评分 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍该多模态模型的相关内容。
Hugging Face 开源 SD-Small 与 SD-Tiny 的知识蒸馏代码和权重
Hugging Face 开源了 SD-Small 和 SD-Tiny 的知识蒸馏代码与模型权重。
OpenAI News精选AI 评分 OpenAI 用过程监督提升数学模型推理能力
OpenAI 训练了一个模型，通过奖励推理的每个正确步骤（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。相比结果监督，过程监督除了提升性能，还带来对齐上的好处，即直接训练模型产出被人类认可的链式推理。
推荐理由：OpenAI 用过程监督替代结果监督训练数学模型，并说明这一方式在链式推理对齐上的作用。
OpenAI NewsAI 评分 OpenAI 用 GPT-4 为 GPT-2 神经元自动生成解释
OpenAI 使用 GPT-4 自动为大型语言模型中的神经元行为撰写解释，并对这些解释进行评分。团队公开了覆盖 GPT-2 每个神经元的解释与评分数据集，并说明这些解释并不完美。
OpenAI News精选AI 评分 GPTs are GPTs：大语言模型对劳动力市场潜在影响的早期观察
OpenAI 发布研究《GPTs are GPTs: An early look at the labor market impact potential of large language models》，探讨大语言模型对劳动力市场的潜在影响。原文正文未能抓取，仅标题可用。
OpenAI NewsAI 评分 OpenAI 与乔治城大学、斯坦福互联网天文台联合研究：语言模型如何被用于虚假信息宣传及如何降低风险
OpenAI 研究人员与乔治城大学安全与新兴技术中心及斯坦福互联网天文台合作，调查大语言模型可能被滥用于虚假信息宣传的方式。该合作包括 2021 年 10 月汇聚 30 位虚假信息研究者、机器学习专家与政策分析师的工作坊，并最终形成一份基于一年多研究的联合报告。报告梳理了语言模型若被用于增强虚假信息宣传对信息环境构成的威胁，并提出了分析潜在缓解措施的框架。
Hugging Face 发布 MTEB：大规模文本嵌入基准
Hugging Face 推出 MTEB（Massive Text Embedding Benchmark），一个覆盖 8 类任务、56 个数据集、最多 112 种语言的文本嵌入模型评测基准，排行榜已汇总超 2000 条结果。用户可通过 `pip install mteb` 对任意嵌入模型进行评测，并将结果提交至公开排行榜。
Hugging Face 联合 Intel Labs 推出 SetFit：无需提示词的高效少样本学习框架
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit，一个面向 Sentence Transformers 的高效少样本微调框架，无需提示词或 verbaliser。
推荐理由：原文给出 SetFit 的两阶段训练流程与 RAFT 基准对比，读者可了解无提示词少样本分类的实现方式与成本。
OpenAI News精选AI 评分 OpenAI 用视频预训练让神经网络学会玩 Minecraft
OpenAI 提出 Video PreTraining（VPT）方法，在大量无标注的人类玩 Minecraft 视频数据上训练神经网络，仅使用少量承包商标注数据。经微调后，模型能学会制作钻石工具，这一任务通常需要熟练人类花费 20 多分钟、约 24000 次操作。模型使用键盘按键和鼠标移动这类原生人类交互接口，通用性较强，是迈向通用计算机使用智能体的一步。
推荐理由：OpenAI 用少量标注数据加海量无标注视频训练出能玩 Minecraft 的模型，可了解视频预训练这条路径的早期做法。
OpenAI NewsAI 评分 OpenAI 研究：AI 撰写的批评帮助人类发现摘要缺陷
OpenAI 训练了“批评写作”模型，用于描述摘要中的缺陷。人类评估者在看到模型给出的批评后，发现摘要缺陷的频率明显提高。研究还发现，更大的模型自我批评能力更强，规模对批评写作的提升大于对摘要写作的提升，这为用 AI 系统辅助人类监督 AI 系统提供了可能。
TAPEX：无需真实数据的高效表格预训练
微软提出 TAPEX，通过让 BART 学习执行合成 SQL 查询来实现表格预训练，无需真实标注数据。该方法在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准上均取得 SOTA，其中 WikiSQL 准确率达 89.6%，WikiTableQuestions 达 57.5%。
OpenAI News精选AI 评分 OpenAI 提出基于 CLIP latents 的分层文本条件图像生成方法
OpenAI 发布研究《Hierarchical text-conditional image generation with CLIP latents》，提出一种基于 CLIP latents 的分层文本条件图像生成方法。
OpenAI News精选AI 评分 OpenAI 构建 Lean 神经定理证明器，解出部分数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能够解出多道高难度高中数学奥赛题，包括来自 AMC12 和 AIME 竞赛的题目，以及两道改编自 IMO 的题目。
推荐理由：OpenAI 用 Lean 神经定理证明器解出 AMC12、AIME 及两道改编自 IMO 的题目，可了解形式化数学推理的早期进展。
OpenAI News精选AI 评分 OpenAI 用对齐研究让语言模型更好遵循指令
OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型，同时更真实、毒性更低，所用技术来自其对齐研究。这些名为 InstructGPT 的模型采用人类参与训练的方式，现已作为 OpenAI API 的默认语言模型部署。
推荐理由：OpenAI 说明 InstructGPT 如何通过人类反馈训练，让模型更贴合用户意图并成为 API 默认模型。
OpenAI News精选AI 评分 OpenAI 发布 WebGPT，通过网页浏览提升语言模型事实准确率
OpenAI 对 GPT-3 进行微调，使其借助基于文本的网页浏览器更准确地回答开放式问题，并将该工作命名为 WebGPT。
推荐理由：OpenAI 用文本浏览器微调 GPT-3 提升开放问答的事实准确率，可了解早期检索增强思路。
OpenAI News精选AI 评分 OpenAI 训练系统解小学数学应用题，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学阶段数学应用题的系统，准确率约为微调 GPT-3 模型的两倍。该系统能解出约 90% 的题目数量，与真实儿童相当：9-12 岁小样本在其数据集测试中得分 60%，系统在同一批题目上得分 55%。
推荐理由：OpenAI 用小学数学应用题对比微调 GPT-3 与儿童成绩，可了解当时模型解题能力的实际水平。
OpenAI NewsAI 评分 OpenAI 用人类反馈总结书籍内容
OpenAI 发布关于用人类反馈总结书籍的研究，聚焦如何对难以评估的任务扩大人类监督规模。
OpenAI NewsAI 评分 OpenAI 用精选数据集微调改善语言模型行为
OpenAI 研究发现，用一个小规模精选数据集对语言模型进行微调，即可改善其在特定行为价值观方面的表现。