OpenAI 发布 Safety Gym：衡量强化学习智能体安全约束的训练环境套件
OpenAI 发布 Safety Gym，一套用于衡量强化学习智能体在训练中遵守安全约束进展的环境与工具套件。该套件面向安全约束下的强化学习研究，提供配套环境与工具以评估智能体的安全表现。
#数据/训练
#数据/训练
OpenAI NewsAI 评分
OpenAI News精选AI 评分 OpenAI 发布 GPT-2 最大版本 1.5B 及代码与模型权重
OpenAI 发布 GPT-2 分阶段发布的最后一个版本，即参数量 1.5B 的最大版本，同时公开代码和模型权重，以便检测 GPT-2 模型的输出。OpenAI 表示，尽管自 8 月以来已有更大的语言模型发布，仍按原定分阶段计划推进，为社区提供一个完整分阶段发布流程的测试案例，并希望它对未来强模型的开发者有用。
推荐理由：OpenAI 按分阶段发布计划放出 GPT-2 最大版本及权重，为后续强模型的负责任发布留下一个完整案例。
OpenAI News精选AI 评分 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，在多项任务上成功匹配外部人类标注者的偏好，但这些偏好并不总与 OpenAI 自己的预期一致。
推荐理由：OpenAI 用人类反馈微调 GPT-2 的早期实验，呈现了标注偏好如何直接塑造模型行为。
OpenAI News精选AI 评分 OpenAI 发布 774M 参数 GPT-2 模型并公开模型共享法律协议
OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已于 2 月发布 124M 小模型、5 月分阶段发布 355M 中等模型，并与合作伙伴及 AI 社区研究该模型被滥用的可能性和社会价值。OpenAI 同时发布一份开源法律协议，便于各组织之间建立模型共享合作，并发布一份技术报告，介绍其与更广泛 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 公布 GPT-2 分阶段发布的时间线与参数规模，可了解其模型共享与发布规范的实践。
OpenAI News精选AI 评分 OpenAI 提出 Sparse Transformer，可建模序列长度提升 30 倍
OpenAI 开发了 Sparse Transformer，一种深度神经网络，在预测序列中下一个元素的任务上创下新纪录，可处理文本、图像和声音。它通过对注意力机制做算法改进来提取序列中的模式，可建模的序列长度是此前的 30 倍。
推荐理由：OpenAI 用稀疏注意力把可建模序列长度提升到此前 30 倍，可了解长序列建模的早期思路。
OpenAI NewsAI 评分 OpenAI 提出能量模型（EBM）的隐式生成与泛化方法
OpenAI 在能量模型（EBM）的稳定、可扩展训练上取得进展，样本质量和泛化能力优于现有模型。EBM 生成时投入更多算力持续精修答案，在低温下可生成与 GAN 媲美的样本，同时具备似然类模型的模式覆盖保证。
OpenAI NewsAI 评分 OpenAI 与 Google 合作推出 Activation Atlases
OpenAI 与 Google 研究人员合作推出 Activation Atlases，一种可视化神经元之间交互所代表含义的新技术。随着 AI 系统被部署到日益敏感的场景，更好地理解其内部决策过程将有助于识别弱点和调查失败原因。
OpenAI NewsAI 评分 OpenAI 举办首届 Spinning Up 深度强化学习研讨会
OpenAI 于 2 月 2 日举办首届 Spinning Up Workshop，这是其新教育计划的一部分。
OpenAI News精选AI 评分 OpenAI 训练出大规模无监督语言模型，多项语言任务无需特定训练
OpenAI 训练了一个大规模无监督语言模型，能生成连贯的段落文本，在多项语言建模基准上达到当时最优表现。该模型无需针对特定任务训练，即可完成基础的阅读理解、机器翻译、问答和摘要任务。
推荐理由：OpenAI 披露了无监督语言模型在多项语言任务上的表现，可了解早期大模型的能力边界。
OpenAI NewsAI 评分 OpenAI 研究：AI 训练如何扩展
OpenAI 发现梯度噪声尺度这一简单统计指标可预测神经网络训练在多种任务上的可并行性。由于复杂任务的梯度噪声更大，未来更大的 batch size 可能变得有用，从而消除 AI 系统继续扩展的一项潜在限制。
OpenAI NewsAI 评分 OpenAI 用能量函数模型学习概念
OpenAI 开发了一种基于能量的模型，仅需五次演示即可学会识别并生成以 2D 点集表达的概念，如 near、above、between、closest 和 furthest。该模型还展现出跨域迁移能力：在 2D 粒子环境中学习的概念可用于解决 3D 物理机器人的任务。
OpenAI NewsAI 评分 OpenAI Scholars 2019 申请开放
OpenAI 开放第二届 OpenAI Scholars 项目申请，面向 underrepresented 群体提供 6–10 个津贴与导师指导名额，全职学习深度学习 3 个月并开源一个项目。
OpenAI News精选AI 评分 OpenAI 用无监督预训练提升语言理解能力
OpenAI 用可扩展、与任务无关的系统在一组多样语言任务上取得 state-of-the-art 结果，并公开该系统。其方法结合了 Transformer 与无监督预训练两个已有思路，作者认为这为监督学习方法搭配无监督预训练的有效性提供了有说服力的例证，并希望推动在更大、更多样数据集上继续研究这一思路。
推荐理由：OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果，并公开了这套与任务无关的系统。
OpenAI NewsAI 评分 OpenAI 发布 Gym Retro 完整版：强化学习游戏平台游戏数超 1000
OpenAI 发布强化学习游戏平台 Gym Retro 完整版，公开游戏数量从约 70 款 Atari 和 30 款 Sega 游戏扩展至超过 1000 款，覆盖多种模拟器后端。OpenAI 同时发布了用于向该平台添加新游戏的工具。
OpenAI News精选AI 评分 OpenAI 分析：最大 AI 训练算力自 2012 年起每 3.4 个月翻倍
OpenAI 发布一项分析，指出自 2012 年以来最大规模 AI 训练所用算力呈指数增长，翻倍周期为 3.4 个月，而摩尔定律的翻倍周期为 2 年。该指标自 2012 年以来增长超过 300,000 倍，若按 2 年翻倍计算则仅增长 7 倍。OpenAI 表示算力提升是 AI 进展的关键组成部分，若这一趋势延续，值得为远超当前能力的系统做准备。
推荐理由：OpenAI 用 2012 年以来的训练算力数据给出 3.4 个月翻倍的经验规律，可与摩尔定律对照理解 AI 进展节奏。
OpenAI NewsAI 评分 OpenAI 发布 Evolved Policy Gradients 元学习方法
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），通过进化学习智能体的损失函数，使其能在新任务上快速训练。用 EPG 训练的智能体可在测试时完成训练范围之外的基础任务，例如学会导航到房间中与训练时放置位置相反一侧的物体。
OpenAI NewsAI 评分 OpenAI 启动 Retro Contest 迁移学习竞赛
OpenAI 发起 Retro Contest 迁移学习竞赛，用于衡量强化学习算法从既往经验中泛化的能力。
OpenAI NewsAI 评分 OpenAI 提出可扩展元学习算法 Reptile
OpenAI 开发出可扩展元学习算法 Reptile，通过反复采样任务、对任务执行随机梯度下降，并将初始参数朝该任务最终学到的参数更新。Reptile 是 Shortest Descent 算法在元学习场景的应用，数学上与一阶 MAML 相似，只需黑盒访问 SGD 或 Adam 等优化器，计算效率与性能相当。
OpenAI NewsAI 评分 OpenAI 用自动发现的类型实现实体消歧
OpenAI 构建了一套实体消歧系统，通过神经网络判断一个词是否属于约 100 个自动发现的“类型”（非互斥类别），从而自动确定该词指代的是哪个对象。
OpenAI NewsAI 评分 OpenAI 发布块稀疏 GPU 内核
OpenAI 发布针对块稀疏权重神经网络的高度优化 GPU 内核，按所选稀疏度可比 cuBLAS 或 cuSPARSE 快数个数量级。团队已用这些内核在文本情感分析和文本、图像生成建模上取得 SOTA 结果。
OpenAI NewsAI 评分 OpenAI 如何让纯仿真训练的机器人控制器泛化到真实环境
OpenAI 的机器人技术让完全在仿真中训练、部署到实体机器人上的控制器，能在执行简单任务时对环境中未预料的变化做出反应，即从开环系统转为闭环系统。
OpenAI NewsAI 评分 OpenAI 用元学习让机器人摔跤手快速击败更强对手
OpenAI 展示在模拟机器人摔跤任务中，元学习智能体能快速学会击败更强的非元学习智能体，并能适应自身物理故障。
OpenAI News精选AI 评分 OpenAI 研究：自对弈让模拟 AI 自主学会擒抱、假动作等身体技能
OpenAI 发现自对弈能让模拟 AI 在未专门设计相应环境的情况下，自行发现擒抱、闪避、假动作、踢球、接球和扑球等身体技能。自对弈还能让环境难度始终与 AI 水平匹配，从而持续推动其进步。结合 Dota 2 的自对弈结果，OpenAI 表示越来越相信自对弈将成为未来强大 AI 系统的核心组成部分。
推荐理由：OpenAI 用自对弈让模拟 AI 自行涌现出擒抱、假动作等身体技能，可了解自对弈作为训练范式的早期思路。
OpenAI NewsAI 评分 OpenAI 开源 RL-Teacher：通过人类反馈训练 AI
OpenAI 开源了 RL-Teacher，一个通过偶尔的人类反馈而非手工设计奖励函数来训练 AI 的接口实现。该技术旨在推进安全 AI 系统，也适用于奖励难以明确指定的强化学习问题。
OpenAI NewsAI 评分 OpenAI 用参数噪声改进强化学习探索
OpenAI 发现，向强化学习算法的参数中加入自适应噪声，往往能提升性能。这种探索方法实现简单，且极少导致性能下降，因此值得在任何问题上尝试。
OpenAI News精选AI 评分 OpenAI 发布强化学习算法 Proximal Policy Optimization（PPO）
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），性能与当时最先进方法相当或更好，同时实现和调参都更简单。PPO 因易用且表现良好，已成为 OpenAI 的默认强化学习算法。
推荐理由：OpenAI 公开了 PPO 这一强化学习算法，读者可了解它为何成为其默认训练方法。
OpenAI NewsAI 评分 OpenAI 无监督情感神经元：仅预测下一字符即可学到情感表征
OpenAI 开发出一个无监督系统，仅通过预测 Amazon 评论文本中的下一个字符进行训练，就学到了出色的情感表征。该系统被称为无监督情感神经元。
OpenAI NewsAI 评分 OpenAI 谈深度学习基础设施
OpenAI 认为深度学习是一门经验科学，团队基础设施的质量是进展的倍增器。如今的开源生态让任何人都能搭建出色的深度学习基础设施。
OpenAI NewsAI 评分 OpenAI 解读生成模型：四个项目与生成模型的现状与未来
OpenAI 介绍了四个围绕生成模型的项目，生成模型是机器学习中无监督学习技术的一个分支。文章同时解释了生成模型是什么、为何重要，以及未来可能的发展方向。
OpenAI NewsAI 评分 OpenAI Gym Beta 发布：强化学习算法开发与对比工具包
OpenAI 发布 OpenAI Gym 公测版，这是一个用于开发和对比强化学习（RL）算法的工具包。它包含一套持续扩充的环境（从模拟机器人到 Atari 游戏），以及一个用于对比和复现结果的网站。