OpenAI 发布 Triton 1.0：面向神经网络的 GPU 编程语言
OpenAI 发布 Triton 1.0，这是一门类 Python 的开源编程语言，让没有 CUDA 经验的研究者也能编写高效的 GPU 代码，性能多数情况下可达到专家水平。
推荐理由：OpenAI 开源 Triton 1.0，让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
#OpenAI
#OpenAI
OpenAI News精选AI 评分
OpenAI NewsAI 评分 OpenAI 用精选数据集微调改善语言模型行为
OpenAI 研究发现，用一个小规模精选数据集对语言模型进行微调，即可改善其在特定行为价值观方面的表现。
OpenAI NewsAI 评分 OpenAI Scholars 2021 毕业项目公布
OpenAI 宣布 2021 届 OpenAI Scholars 已完成为期六个月的导师计划，并在 OpenAI 提供的津贴与支持下完成了开源研究项目。
OpenAI NewsAI 评分 Will Hurd 加入 OpenAI 董事会
OpenAI 宣布美国国会议员 Will Hurd 加入其董事会。OpenAI 表示，实现造福全人类的通用人工智能目标，既需要技术专长，也需要公共政策方面的经验。
OpenAI News精选AI 评分 OpenAI 称已有超 300 款应用通过 API 接入 GPT-3
OpenAI 表示，已有超过 300 款应用通过其 API 提供由 GPT-3 驱动的搜索、对话、文本补全等 AI 功能。
OpenAI News精选AI 评分 OpenAI 在 CLIP 中发现多模态神经元
OpenAI 在 CLIP 中发现了一类多模态神经元，无论概念以字面、符号还是概念化形式呈现，这些神经元都会产生响应。OpenAI 表示，这或许能解释 CLIP 为何能准确分类出人意料的概念视觉呈现，也是理解 CLIP 及类似模型所学关联与偏置的重要一步。
推荐理由：OpenAI 公开了 CLIP 中多模态神经元的发现，为理解模型如何跨形式关联概念提供了线索。
OpenAI NewsAI 评分 OpenAI 将 Kubernetes 集群扩展至 7, 500 节点
OpenAI 把 Kubernetes 集群扩展到 7,500 节点，为 GPT-3、CLIP 和 DALL·E 等大模型提供可扩展基础设施，同时也支撑小规模快速迭代研究，例如 Scaling Laws for Neural Language Models。
OpenAI News精选AI 评分 OpenAI 发布 CLIP：用自然语言连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称，即可应用于任意视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：OpenAI 官方介绍 CLIP 如何用自然语言监督学习视觉概念，并说明其零样本迁移到任意分类基准的方式。
OpenAI News精选AI 评分 OpenAI 发布 DALL·E：从文本描述生成图像
OpenAI 训练了一个名为 DALL·E 的神经网络，可根据自然语言文本描述生成图像，覆盖自然语言可表达的多种概念。
推荐理由：OpenAI 公开 DALL·E 这一从文本生成图像的神经网络，可了解文生图方向的早期形态。
OpenAI NewsAI 评分 OpenAI 的组织架构更新
OpenAI 发布组织架构更新，称过去一年公司经历了剧烈变化与增长。
OpenAI News精选AI 评分 OpenAI 将 GPT-3 技术授权给 Microsoft
OpenAI 已同意将 GPT-3 授权给 Microsoft，供其用于自家产品和服务。
推荐理由：OpenAI 将 GPT-3 授权给 Microsoft 用于自家产品，读者可借此了解早期大模型商业授权的合作方式。
OpenAI NewsAI 评分 OpenAI 用人类反馈训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
OpenAI NewsAI 评分 OpenAI Scholars 2020：最终项目展示
OpenAI Scholars 2020 届学员在线上 Demo Day 展示了他们过去五个月的研究成果，这是该项目的第三届学员。
OpenAI NewsAI 评分 OpenAI 联合举办 Procgen 与 MineRL 竞赛
OpenAI 与 AIcrowd、卡内基梅隆大学及 DeepMind 联合举办两场 NeurIPS 2020 竞赛，分别基于 Procgen Benchmark 和 MineRL。
OpenAI News精选AI 评分 OpenAI 发布 Image GPT：用 Transformer 生成图像
OpenAI 发现，正如在语言上训练的大型 Transformer 模型能生成连贯文本，同一模型在像素序列上训练后也能生成连贯的图像补全与样本。通过建立样本质量与图像分类准确率之间的相关性，OpenAI 表明其最佳生成模型在无监督设置下所含特征可与顶级卷积网络竞争。
推荐理由：OpenAI 用同一 Transformer 架构处理像素序列，并给出生成质量与分类精度的关联证据。
OpenAI News精选AI 评分 OpenAI 发布 API，开放其新开发 AI 模型的访问
OpenAI 发布了一个 API，用于访问 OpenAI 开发的新 AI 模型。
OpenAI News精选AI 评分 OpenAI 分析：训练神经网络达到 AlexNet 水平所需算力比 2012 年减少 44 倍
OpenAI 发布一项分析，指出自 2012 年以来，在 ImageNet 分类任务上训练神经网络达到同等性能所需的算力每 16 个月减少一半。与 2012 年相比，如今训练一个达到 AlexNet 水平的神经网络所需算力减少 44 倍，而同期摩尔定律带来的成本改善为 11 倍。分析认为，在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率的提升。
推荐理由：OpenAI 用 ImageNet 训练算力数据量化算法进步，读者可据此理解算法效率与硬件效率的相对贡献。
OpenAI News精选AI 评分 OpenAI 发布音乐生成神经网络 Jukebox 并开源模型权重与代码
OpenAI 推出 Jukebox，一个能生成音乐的神经网络，可输出多种流派和艺术家风格的原始音频，并包含初步的歌唱。OpenAI 同时发布了模型权重和代码，以及一个用于探索生成样本的工具。
推荐理由：OpenAI 公开 Jukebox 的模型权重与代码，读者可了解这套音乐生成神经网络的能力边界与开放程度。
OpenAI NewsAI 评分 OpenAI 参与 58 位作者联合报告：提升 AI 开发可验证性的 10 种机制
OpenAI 参与撰写的多利益相关方报告提出 10 种机制，用于提升 AI 系统相关声明的可验证性。该报告由 30 家机构的 58 位共同作者完成，涵盖 Centre for the Future of Intelligence、Mila、Schwartz Reisman Institute 等。
OpenAI NewsAI 评分 OpenAI 推出 Microscope：八个视觉模型神经元可视化合集
OpenAI 推出 Microscope，对八个常用于可解释性研究的视觉“模式生物”模型的每个重要层和神经元进行可视化。该工具让分析这些神经网络内部形成的特征变得更容易，OpenAI 希望借此帮助研究社区理解这类复杂系统。
OpenAI NewsAI 评分 OpenAI 将深度学习框架标准化为 PyTorch
OpenAI 宣布将其深度学习框架标准化为 PyTorch。
OpenAI News精选AI 评分 OpenAI 发布 Dota 2 大规模深度强化学习研究
OpenAI 发布 Dota 2 大规模深度强化学习研究，原文链接为 https://openai.com/index/dota-2-with-large-scale-deep-reinforcement-learning。
OpenAI NewsAI 评分 OpenAI 研究：深度学习中 CNN、ResNet 与 Transformer 的双重下降现象
OpenAI 发现双重下降现象同样出现在 CNN、ResNet 和 Transformer 中：随着模型规模、数据量或训练时间增加，性能先提升、再变差、然后再次提升。这一效应通常可通过精细的正则化加以规避，但研究者尚不完全理解其成因，认为值得进一步研究。
OpenAI NewsAI 评分 OpenAI 发布 Procgen Benchmark：16 个程序化生成环境
OpenAI 发布 Procgen Benchmark，包含 16 个易于使用的程序化生成环境，用于直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI NewsAI 评分 OpenAI 发布 Safety Gym：衡量强化学习智能体安全约束的训练环境套件
OpenAI 发布 Safety Gym，一套用于衡量强化学习智能体在训练中遵守安全约束进展的环境与工具套件。该套件面向安全约束下的强化学习研究，提供配套环境与工具以评估智能体的安全表现。
OpenAI News精选AI 评分 OpenAI 发布 GPT-2 最大版本 1.5B 及代码与模型权重
OpenAI 发布 GPT-2 分阶段发布的最后一个版本，即参数量 1.5B 的最大版本，同时公开代码和模型权重，以便检测 GPT-2 模型的输出。OpenAI 表示，尽管自 8 月以来已有更大的语言模型发布，仍按原定分阶段计划推进，为社区提供一个完整分阶段发布流程的测试案例，并希望它对未来强模型的开发者有用。
推荐理由：OpenAI 按分阶段发布计划放出 GPT-2 最大版本及权重，为后续强模型的负责任发布留下一个完整案例。
OpenAI News精选AI 评分 OpenAI 用机械手解魔方
OpenAI 训练了一对神经网络，用类人机械手解开魔方。神经网络完全在仿真中训练，使用与 OpenAI Five 相同的强化学习代码，并搭配名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被毛绒长颈鹿戳碰，说明强化学习不只适用于虚拟任务，也能解决需要高灵巧度的物理世界问题。
推荐理由：OpenAI 用仿真训练加 ADR 让机械手解魔方，可了解强化学习从虚拟任务走向物理操作的一条路径。
OpenAI NewsAI 评分 OpenAI Scholars 2020 申请开放
OpenAI 现已开放第三期 OpenAI Scholars 的申请通道。该项目此前已举办两期，此次面向 2020 年度招募学员。
OpenAI News精选AI 评分 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，在多项任务上成功匹配外部人类标注者的偏好，但这些偏好并不总与 OpenAI 自己的预期一致。
推荐理由：OpenAI 用人类反馈微调 GPT-2 的早期实验，呈现了标注偏好如何直接塑造模型行为。
OpenAI News精选AI 评分 OpenAI 在多智能体交互中观察到智能体自发使用工具
OpenAI 在自建的模拟捉迷藏环境中训练智能体，观察到它们逐步学会使用越来越复杂的工具，并形成六种不同的策略与反策略，其中一些策略是该环境原本未被设计支持的。OpenAI 认为，这种简单环境中自监督涌现出的复杂性，说明多智能体协同适应未来可能产生极其复杂且智能的行为。
推荐理由：OpenAI 在自建捉迷藏模拟环境中观察到智能体自发形成六种策略与反策略，可了解多智能体协同演化的一种研究路径。
OpenAI NewsAI 评分 OpenAI 提出 UAR 指标：评估神经网络抵御未见对抗攻击的鲁棒性
OpenAI 开发出一种评估神经网络分类器能否可靠抵御训练中未见过对抗攻击的方法，并提出新指标 UAR（Unforeseen Attack Robustness），用于衡量单一模型面对未预期攻击时的鲁棒性。该方法强调需要在更多样化的未见攻击上衡量模型表现。
OpenAI News精选AI 评分 OpenAI 发布 774M 参数 GPT-2 模型并公开模型共享法律协议
OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已于 2 月发布 124M 小模型、5 月分阶段发布 355M 中等模型，并与合作伙伴及 AI 社区研究该模型被滥用的可能性和社会价值。OpenAI 同时发布一份开源法律协议，便于各组织之间建立模型共享合作，并发布一份技术报告，介绍其与更广泛 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 公布 GPT-2 分阶段发布的时间线与参数规模，可了解其模型共享与发布规范的实践。
OpenAI NewsAI 评分 OpenAI 的 Learning Day：每周四员工自学技术技能
OpenAI 将每周四设为 Learning Day，员工可选择自学日常工作中接触不到的技术技能，以提升工作能力。该安排为可选参与，学习内容聚焦于技术技能。
OpenAI News精选AI 评分 微软向 OpenAI 投资 10 亿美元并达成合作，共同推进 AGI
微软向 OpenAI 投资 10 亿美元，支持其构建具有广泛经济收益的通用人工智能（AGI）。双方将在 Microsoft Azure 内合作开发可扩展至 AGI 的硬件和软件平台，联合开发新的 Azure AI 超算技术，微软将成为 OpenAI 的独家云服务提供商。
推荐理由：OpenAI 官方披露微软 10 亿美元投资与 Azure 独家云合作，可了解双方早期算力与平台绑定关系。
OpenAI NewsAI 评分 OpenAI 为何认为负责任的 AI 发展需要安全合作
OpenAI 发布政策研究论文，提出当前可用于提升 AI 安全规范长期行业合作可能性的四项策略：沟通风险与收益、技术协作、提高透明度、激励标准。分析指出，行业安全合作对确保 AI 系统安全有益至关重要，但竞争压力可能导致集体行动困境，使 AI 公司对安全投入不足。
OpenAI NewsAI 评分 OpenAI 举办 2019 机器人研讨会
OpenAI 于 2019 年 4 月 27 日举办了首届 OpenAI Robotics Symposium。
OpenAI NewsAI 评分 OpenAI Scholars 2019 最终项目展示
OpenAI Scholars 第二届八位学者完成最终项目，并在 OpenAI 的 Scholars Demo Day 上展示。
OpenAI NewsAI 评分 OpenAI Fellows Fall 2018 结业项目公布
OpenAI Fellows Fall 2018 二期学员完成 6 个月学徒期，从机器学习初学者成长为 OpenAI 核心贡献者，并展示了各自的结业项目。OpenAI 目前正滚动审核 OpenAI Fellows Summer 2019 的申请。
OpenAI News精选AI 评分 OpenAI 发布 MuseNet 音乐生成神经网络
OpenAI 发布 MuseNet，一个深度神经网络，可生成 4 分钟、包含 10 种乐器的音乐作品，并能融合从乡村到莫扎特再到披头士的风格。MuseNet 并未被显式编程音乐知识，而是通过预测数十万份 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。
推荐理由：OpenAI 公开 MuseNet 的技术路线，读者可了解其如何用 GPT-2 同款无监督方法生成多风格音乐。
OpenAI News精选AI 评分 OpenAI 提出 Sparse Transformer，可建模序列长度提升 30 倍
OpenAI 开发了 Sparse Transformer，一种深度神经网络，在预测序列中下一个元素的任务上创下新纪录，可处理文本、图像和声音。它通过对注意力机制做算法改进来提取序列中的模式，可建模的序列长度是此前的 30 倍。
推荐理由：OpenAI 用稀疏注意力把可建模序列长度提升到此前 30 倍，可了解长序列建模的早期思路。