OpenAI 的 Lilian Weng 谈持续学习的力量
OpenAI 应用 AI 研究团队的 Lilian Weng 阐述了持续学习的力量。原文未披露具体模型、版本号或技术细节。
#OpenAI
#OpenAI
OpenAI NewsAI 评分
OpenAI News精选AI 评分 OpenAI 发布 Point-E：从复杂提示词生成 3D 点云的系统
OpenAI 发布 Point-E，一个可从复杂提示词生成 3D 点云的系统。
OpenAI NewsAI 评分 OpenAI 发布新版嵌入向量模型
OpenAI 宣布推出新版嵌入向量模型，称其在能力、成本效益和易用性上均有明显提升。
OpenAI NewsAI 评分 OpenAI 超级计算团队工程师 Christian Gibson 的后端系统细节探索
OpenAI 超级计算团队工程师 Christian Gibson 分享了探索后端系统细节的工作。他隶属于 OpenAI 的 Supercomputing 团队。
OpenAI News精选AI 评分 OpenAI 发布对话式模型 ChatGPT
OpenAI 训练并发布名为 ChatGPT 的模型，以对话方式与用户交互。官方称对话格式让 ChatGPT 能回答追问、承认自身错误、质疑错误前提并拒绝不当请求。
推荐理由：OpenAI 官方给出 ChatGPT 的对话式交互定位，读者可据此了解它与以往模型的形态差异。
OpenAI News精选AI 评分 OpenAI 的 DALL·E API 进入公开测试
OpenAI 宣布 DALL·E API 从今天起进入公开测试，开发者可以开始用它构建应用。
Hugging Face BlogAI 评分
用 🤗 Transformers 微调 Whisper 实现多语言 ASR
Hugging Face 发布教程，讲解如何用 🤗 Transformers 对 Whisper 进行微调，以适配任意多语言 ASR 数据集。Whisper 由 OpenAI 于 2022 年 9 月发布，基于 68 万小时标注音频预训练，覆盖 96 种以上语言，并提供 tiny 到 large-v3 共 11 个 checkpoint。
OpenAI News精选AI 评分 DALL·E 取消等待名单，新用户可直接使用
OpenAI 宣布 DALL·E 取消等待名单，新用户可以直接开始创作。官方称，部署中积累的经验以及安全系统的改进，使更广泛的开放成为可能。
推荐理由：原文交代了 DALL·E 取消等待名单的开放变化，读者可据此了解其使用门槛与安全系统调整。
OpenAI News精选AI 评分 OpenAI 开源语音识别模型 Whisper
OpenAI 训练并开源了神经网络 Whisper，其在英语语音识别上接近人类水平的鲁棒性和准确度。
推荐理由：OpenAI 开源语音识别模型 Whisper，读者可了解其在英语识别上的鲁棒性与准确度定位。
OpenAI News精选AI 评分 OpenAI 为 DALL·E 推出 outpainting 功能
OpenAI 为 DALL·E 推出 outpainting 功能，可生成任意尺寸的图像，用于扩展创作画面、讲述更大的故事。
OpenAI NewsAI 评分 OpenAI 的对齐研究方法
OpenAI 正在提升 AI 系统从人类反馈中学习、以及协助人类评估 AI 的能力。其目标是构建一个足够对齐的 AI 系统，进而帮助解决所有其他对齐问题。
OpenAI NewsAI 评分 OpenAI 推出新版内容审核工具 Moderation endpoint
OpenAI 发布新版内容审核工具 Moderation endpoint，改进此前的内容过滤器，即日起向 OpenAI API 开发者免费开放。
OpenAI News精选AI 评分 OpenAI 将 DALL·E 开放测试版，邀请 100 万候补用户
OpenAI 宣布 DALL·E 进入测试版，将在未来几周从候补名单中邀请 100 万人使用。用户可用每月重置的免费额度生成图像，也可按 115 次生成一档、15 美元的价格购买额外额度。
推荐理由：原文给出 DALL·E 测试版开放规模与免费额度、付费增量价格，便于读者了解早期图像生成产品的开放方式。
OpenAI NewsAI 评分 OpenAI 为 DALL·E 2 降低偏见并提升安全性
OpenAI 为 DALL·E 2 引入一项新技术，使其生成的人物图像更准确地反映世界人口的多样性，以减少偏见并提升安全性。
OpenAI NewsAI 评分 OpenAI 介绍 DALL·E 2 研究预览中艺术家的使用情况
OpenAI 在 DALL·E 2 研究预览中，已有来自 118 个以上国家的 3000 多名艺术家将 DALL·E 融入创作流程。早期访问组的艺术家帮助发现了 DALL·E 的新用途，并在 DALL·E 功能决策中提供了关键意见。
OpenAI NewsAI 评分 DALL·E 2 的预训练缓解措施
OpenAI 为向广泛受众开放 DALL·E 2，在预训练阶段采取缓解措施以降低强大图像生成模型带来的风险。为此，OpenAI 设置了多种防护栏，防止生成的图像违反其内容政策。
OpenAI News精选AI 评分 OpenAI 用视频预训练让神经网络学会玩 Minecraft
OpenAI 提出 Video PreTraining（VPT）方法，在大量无标注的人类玩 Minecraft 视频数据上训练神经网络，仅使用少量承包商标注数据。经微调后，模型能学会制作钻石工具，这一任务通常需要熟练人类花费 20 多分钟、约 24000 次操作。模型使用键盘按键和鼠标移动这类原生人类交互接口，通用性较强，是迈向通用计算机使用智能体的一步。
推荐理由：OpenAI 用少量标注数据加海量无标注视频训练出能玩 Minecraft 的模型，可了解视频预训练这条路径的早期做法。
OpenAI NewsAI 评分 OpenAI 研究：AI 撰写的批评帮助人类发现摘要缺陷
OpenAI 训练了“批评写作”模型，用于描述摘要中的缺陷。人类评估者在看到模型给出的批评后，发现摘要缺陷的频率明显提高。研究还发现，更大的模型自我批评能力更强，规模对批评写作的提升大于对摘要写作的提升，这为用 AI 系统辅助人类监督 AI 系统提供了可能。
OpenAI NewsAI 评分 训练大型神经网络的技术
OpenAI 发文梳理训练大型神经网络的技术，指出这类模型是近期多项 AI 进展的核心，但训练本身是艰巨的工程与研究挑战，需要编排一整个 GPU 集群来完成单次同步计算。
OpenAI NewsAI 评分 Cohere、OpenAI 与 AI21 Labs 发布大语言模型部署最佳实践
Cohere、OpenAI 和 AI21 Labs 联合制定了一套初步的大语言模型最佳实践，适用于任何开发或部署大语言模型的组织。
OpenAI NewsAI 评分 OpenAI Codex 通过 API 为 70 款应用提供支持
OpenAI Codex 现已通过 OpenAI API 为 70 款不同应用提供支持，覆盖多种使用场景。
OpenAI News精选AI 评分 OpenAI 更新 DALL·E 2 研究预览，每周新增最多 1000 名候补用户
OpenAI 更新 DALL·E 2 研究预览进展，早期用户迄今已生成超过 300 万张图像，并帮助改进了安全流程。OpenAI 表示将开始每周从候补名单中新增最多 1000 名用户。
推荐理由：早期用户已生成超 300 万张图像，官方据此说明安全流程改进与每周放量节奏。
OpenAI News精选AI 评分 OpenAI 提出基于 CLIP latents 的分层文本条件图像生成方法
OpenAI 发布研究《Hierarchical text-conditional image generation with CLIP latents》，提出一种基于 CLIP latents 的分层文本条件图像生成方法。
OpenAI NewsAI 评分 OpenAI 如何度量 Goodhart 定律
OpenAI 探讨在优化难以或高成本度量的目标时，如何应对 Goodhart 定律——"当一个度量成为目标，它就不再是好的度量"。该定律源自经济学，OpenAI 在训练中需直面这一挑战。
Hugging Face 工程师 Lewis Tunstall 谈 Transformers 与 NLP 新书
Hugging Face 机器学习工程师 Lewis Tunstall 在访谈中介绍了与 Leandro von Werra 合著的《NLP with Transformers》，并讲述了自己从 2018 年使用 pytorch-pretrained-bert 到加入 Hugging Face 的经历。
OpenAI News精选AI 评分 OpenAI 发布 GPT-3 与 Codex 新能力：编辑与插入
OpenAI 发布 GPT-3 和 Codex 的新版本，可在已有文本中编辑或插入内容，而不再只是补全现有文本。
推荐理由：OpenAI 公布 GPT-3 与 Codex 新增编辑与插入能力，读者可了解补全之外的新交互方式。
OpenAI NewsAI 评分 OpenAI 征集大语言模型经济影响研究意向
OpenAI 发起意向征集，邀请研究者申请参与大语言模型经济影响的研究。该征集面向有意研究 LLM 经济影响的各方，具体参与方式与研究方向未在公告中详述。
OpenAI NewsAI 评分 OpenAI 分享语言模型安全与滥用问题的经验教训
OpenAI 分享了在语言模型安全与滥用问题上的最新思考，旨在帮助其他 AI 开发者应对已部署模型的安全与滥用问题。
OpenAI News精选AI 评分 OpenAI 构建 Lean 神经定理证明器，解出部分数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能够解出多道高难度高中数学奥赛题，包括来自 AMC12 和 AIME 竞赛的题目，以及两道改编自 IMO 的题目。
推荐理由：OpenAI 用 Lean 神经定理证明器解出 AMC12、AIME 及两道改编自 IMO 的题目，可了解形式化数学推理的早期进展。
OpenAI News精选AI 评分 OpenAI 用对齐研究让语言模型更好遵循指令
OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型，同时更真实、毒性更低，所用技术来自其对齐研究。这些名为 InstructGPT 的模型采用人类参与训练的方式，现已作为 OpenAI API 的默认语言模型部署。
推荐理由：OpenAI 说明 InstructGPT 如何通过人类反馈训练，让模型更贴合用户意图并成为 API 默认模型。
OpenAI News精选AI 评分 OpenAI API 推出文本与代码 embeddings 端点
OpenAI 在 API 中推出 embeddings 端点，用于自然语言和代码任务。该端点可支持语义搜索、聚类、主题建模和分类等场景。
推荐理由：OpenAI 在 API 中新增 embeddings 端点，读者可了解它面向语义搜索、聚类等任务的定位。
OpenAI News精选AI 评分 OpenAI 发布 WebGPT，通过网页浏览提升语言模型事实准确率
OpenAI 对 GPT-3 进行微调，使其借助基于文本的网页浏览器更准确地回答开放式问题，并将该工作命名为 WebGPT。
推荐理由：OpenAI 用文本浏览器微调 GPT-3 提升开放问答的事实准确率，可了解早期检索增强思路。
OpenAI News精选AI 评分 OpenAI 介绍如何为应用定制 GPT-3
OpenAI 发布文章介绍为应用定制 GPT-3 的方法，指出可通过单条命令完成微调。
OpenAI NewsAI 评分 OpenAI 推出 Residency 人才培养项目
OpenAI 宣布推出 OpenAI Residency，作为其支持和培养 AI 人才努力的一部分。该项目面向 AI 人才发展，具体申请条件与时间安排未在公告中披露。
OpenAI News精选AI 评分 OpenAI API 取消等待名单，面向更多开发者开放
OpenAI 宣布其 API 不再需要等待名单，向更多开发者开放。官方表示，这一更广泛的可用性得益于安全方面的进展。
推荐理由：OpenAI 宣布 API 取消等待名单，读者可据此了解其开放节奏与安全进展的关系。
OpenAI News精选AI 评分 OpenAI 训练系统解小学数学应用题，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学阶段数学应用题的系统，准确率约为微调 GPT-3 模型的两倍。该系统能解出约 90% 的题目数量，与真实儿童相当：9-12 岁小样本在其数据集测试中得分 60%，系统在同一批题目上得分 55%。
推荐理由：OpenAI 用小学数学应用题对比微调 GPT-3 与儿童成绩，可了解当时模型解题能力的实际水平。
OpenAI NewsAI 评分 OpenAI 用人类反馈总结书籍内容
OpenAI 发布关于用人类反馈总结书籍的研究，聚焦如何对难以评估的任务扩大人类监督规模。
OpenAI NewsAI 评分 Helen Toner 加入 OpenAI 董事会
OpenAI 宣布任命 Helen Toner 加入其董事会。Toner 现任乔治城大学安全与新兴技术中心（CSET）战略主管。
OpenAI NewsAI 评分 OpenAI 发布改进版 Codex，自然语言转代码 API 进入私测
OpenAI 推出改进版 Codex，这一将自然语言转换为代码的 AI 系统即日起通过 API 开放私测。
OpenAI News精选AI 评分 OpenAI 发布 Triton 1.0：面向神经网络的 GPU 编程语言
OpenAI 发布 Triton 1.0，这是一门类 Python 的开源编程语言，让没有 CUDA 经验的研究者也能编写高效的 GPU 代码，性能多数情况下可达到专家水平。
推荐理由：OpenAI 开源 Triton 1.0，让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。