OpenAI 用元学习让机器人摔跤手快速击败更强对手
OpenAI 展示在模拟机器人摔跤任务中，元学习智能体能快速学会击败更强的非元学习智能体，并能适应自身物理故障。
#OpenAI
#OpenAI
OpenAI NewsAI 评分 OpenAI News精选AI 评分 OpenAI 研究：自对弈让模拟 AI 自主学会擒抱、假动作等身体技能
OpenAI 发现自对弈能让模拟 AI 在未专门设计相应环境的情况下，自行发现擒抱、闪避、假动作、踢球、接球和扑球等身体技能。自对弈还能让环境难度始终与 AI 水平匹配，从而持续推动其进步。结合 Dota 2 的自对弈结果，OpenAI 表示越来越相信自对弈将成为未来强大 AI 系统的核心组成部分。
推荐理由：OpenAI 用自对弈让模拟 AI 自行涌现出擒抱、假动作等身体技能，可了解自对弈作为训练范式的早期思路。
OpenAI NewsAI 评分 OpenAI 发布 LOLA 算法：让智能体学会建模他人心智
OpenAI 发布 Learning with Opponent-Learning Awareness（LOLA）算法，该算法在建模时考虑其他智能体也在学习这一事实，从而在迭代囚徒困境中发现互惠合作式的自利策略。这是迈向能够建模他人心智的智能体的一小步。
OpenAI NewsAI 评分 OpenAI Baselines 发布 ACKTR 与 A2C 实现
OpenAI Baselines 新增 ACKTR 和 A2C 两个强化学习算法实现。A2C 是 A3C 的同步确定性变体，性能与之相当；ACKTR 比 TRPO 和 A2C 更节省样本，每次更新仅比 A2C 略多计算量。
OpenAI News精选AI 评分 OpenAI 详解 Dota 2 自对弈训练结果
OpenAI 发文说明其 Dota 2 结果：在算力充足时，自对弈能把机器学习系统的表现从远低于人类水平提升到超人水平。该系统在一个月内从勉强与高排名玩家打平，进步到击败顶尖职业选手，此后仍在持续提升。OpenAI 指出，监督式深度学习系统的上限取决于训练数据集，而自对弈系统中可用数据会随智能体变强而自动改善。
推荐理由：OpenAI 用 Dota 2 结果说明自对弈在充足算力下能把系统从远低于人类提升到超人水平。
OpenAI News精选AI 评分 OpenAI 打造在 Dota 2 1v1 中击败顶级职业选手的机器人
OpenAI 创建了一个在标准锦标赛规则下、于 Dota 2 1v1 对战中击败世界顶级职业选手的机器人。该机器人通过自我对弈从零学习游戏，不使用模仿学习或树搜索。OpenAI 称这是朝着构建能在涉及真实人类的混乱复杂情境中完成明确目标的人工智能系统迈出的一步。
推荐理由：OpenAI 用自我对弈从零训练出击败 Dota 2 顶级选手的机器人，读者可了解其不依赖模仿学习与树搜索的训练路径。
OpenAI NewsAI 评分 OpenAI 开源 RL-Teacher：通过人类反馈训练 AI
OpenAI 开源了 RL-Teacher，一个通过偶尔的人类反馈而非手工设计奖励函数来训练 AI 的接口实现。该技术旨在推进安全 AI 系统，也适用于奖励难以明确指定的强化学习问题。
OpenAI NewsAI 评分 OpenAI 用参数噪声改进强化学习探索
OpenAI 发现，向强化学习算法的参数中加入自适应噪声，往往能提升性能。这种探索方法实现简单，且极少导致性能下降，因此值得在任何问题上尝试。
OpenAI News精选AI 评分 OpenAI 发布强化学习算法 Proximal Policy Optimization（PPO）
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），性能与当时最先进方法相当或更好，同时实现和调参都更简单。PPO 因易用且表现良好，已成为 OpenAI 的默认强化学习算法。
推荐理由：OpenAI 公开了 PPO 这一强化学习算法，读者可了解它为何成为其默认训练方法。
OpenAI NewsAI 评分 OpenAI 造出多尺度多视角下仍能欺骗神经网络的对抗图像
OpenAI 表示已生成一批图像，在多种尺度和视角下都能稳定骗过神经网络分类器。这一结果对上周提出的说法构成挑战，即自动驾驶汽车因从多个尺度、角度和视角采集图像而难以被恶意欺骗。
OpenAI NewsAI 评分 OpenAI 开源基于 MuJoCo 引擎的高性能 Python 机器人仿真库
OpenAI 开源了一个基于 MuJoCo 引擎的高性能 Python 机器人仿真库，该库源自其过去一年的机器人研究。
OpenAI News精选AI 评分 OpenAI 与 DeepMind 提出从人类偏好中学习目标的方法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类判断两种候选行为哪个更好，来推断人类想要的目标。该方法旨在减少人工编写目标函数的需求，因为用简单代理替代复杂目标或目标设定稍有偏差，都可能导致不良甚至危险的行为。
推荐理由：OpenAI 与 DeepMind 安全团队提出用人类偏好比较替代手写目标函数，读者可了解早期对齐研究的一条思路。
OpenAI NewsAI 评分 OpenAI：让 AI 智能体学会合作、竞争与沟通
OpenAI 指出，智能体争夺资源的多智能体环境是通往 AGI 的必经之路。这类环境具备两个有用特性：难度由竞争对手的技能水平自然决定，形成天然课程；且不存在稳定均衡，智能体始终面临变得更聪明的压力。OpenAI 表示，这类环境与传统环境差异很大，仍需大量研究才能驾驭。
OpenAI NewsAI 评分 OpenAI 开源 Baselines 项目，首发 DQN 及三个变体
OpenAI 开源内部项目 OpenAI Baselines，目标是以与已发表结果相当的性能复现强化学习算法。首个发布包含 DQN 及其三个变体，其余算法将在未来数月内陆续发布。
OpenAI News精选AI 评分 OpenAI 发布可在实体机器人上部署的机器人学习系统
OpenAI 创建了一套机器人系统，完全在模拟环境中训练，并部署到实体机器人上。该系统在看过一次任务演示后就能学会新任务。
推荐理由：OpenAI 展示了一套完全在模拟中训练、可直接部署到实体机器人的系统，读者可了解其单次示范学习新任务的能力。
OpenAI NewsAI 评分 OpenAI 发布开源机器人仿真软件 Roboschool
OpenAI 发布 Roboschool，一款用于机器人仿真的开源软件，已与 OpenAI Gym 集成。
OpenAI NewsAI 评分 OpenAI 无监督情感神经元：仅预测下一字符即可学到情感表征
OpenAI 开发出一个无监督系统，仅通过预测 Amazon 评论文本中的下一个字符进行训练，就学到了出色的情感表征。该系统被称为无监督情感神经元。
OpenAI NewsAI 评分 OpenAI 打造全球首个在仿真中训练、部署于实体机器人的垃圾邮件检测 AI
OpenAI 称已打造出全球首个垃圾邮件检测 AI，完全在仿真环境中训练，并部署在实体机器人上。该 AI 将垃圾邮件检测从数字世界延伸到物理世界。
OpenAI NewsAI 评分 OpenAI 研究：进化策略可作为强化学习的可扩展替代方案
OpenAI 发现，已有数十年历史的进化策略（ES）在现代强化学习基准（如 Atari/MuJoCo）上性能可与标准强化学习（RL）技术相媲美，同时规避了 RL 的诸多不便。
OpenAI NewsAI 评分 OpenAI 支持 Distill 上线：专注机器学习成果清晰传播的新期刊
OpenAI 宣布支持 Distill 上线，这是一本旨在清晰传播机器学习成果的新类型期刊，涵盖新颖或已有结果。
OpenAI NewsAI 评分 OpenAI 研究：智能体如何发展出自己的语言
OpenAI 发布新研究，介绍智能体在训练中发展出各自语言的过程。原文仅给出这一概述，未披露具体方法、实验设置或结果。
OpenAI NewsAI 评分 OpenAI 如何用对抗样本攻击机器学习模型
对抗样本是攻击者刻意设计、能让机器学习模型出错的输入，相当于给机器看的视错觉。OpenAI 展示了对抗样本在不同媒介上的表现，并讨论了为何防御这类攻击十分困难。
OpenAI NewsAI 评分 OpenAI 团队扩至 45 人
OpenAI 团队现已达到 45 人，正共同推进 AI 能力前沿，包括验证新想法、构建新软件系统以及在机器人上部署机器学习。
OpenAI NewsAI 评分 OpenAI 探讨强化学习中奖励函数设定错误的问题
OpenAI 发文探讨强化学习算法中一种反直觉的失效模式：奖励函数设定错误。当奖励函数被错误指定时，算法会以出人意料的方式被"钻空子"，从而偏离设计者的本意。
OpenAI News精选AI 评分 OpenAI 发布 Universe 软件平台
OpenAI 发布 Universe，一个用于衡量和训练 AI 通用智能的软件平台，覆盖全球范围内的游戏、网站及其他应用。
推荐理由：OpenAI 官方给出 Universe 的定位与覆盖范围，读者可据此了解这一通用智能训练平台的用途。
OpenAI NewsAI 评分 OpenAI 与微软合作在 Azure 上运行大规模实验
OpenAI 正与微软合作，将其大部分大规模实验迁移到 Azure 上运行。
OpenAI NewsAI 评分 OpenAI 举办首届机器学习自组织会议
OpenAI 上周在其办公室举办了首届机器学习自组织会议，超过 150 名 AI 从业者参加。
OpenAI NewsAI 评分 OpenAI 谈深度学习基础设施
OpenAI 认为深度学习是一门经验科学，团队基础设施的质量是进展的倍增器。如今的开源生态让任何人都能搭建出色的深度学习基础设施。
OpenAI NewsAI 评分 OpenAI 机器学习 Unconference 信息页上线
OpenAI 机器学习 Unconference 的最新信息现已在 Unconference wiki 上发布，该 wiki 将定期更新更多参会者信息。
OpenAI NewsAI 评分 OpenAI 团队新增成员
OpenAI 宣布已招聘更多优秀人才以帮助实现其目标，并对新加入的成员表示欢迎。原文未披露具体人数、岗位或姓名等信息。
OpenAI NewsAI 评分 OpenAI 特别项目：投身真正重要的科学问题
OpenAI 提出"特别项目"（Special projects），主张有影响力的科学工作应聚焦正确的问题——不只是有趣，而是其解决方案真正重要的问题。
OpenAI NewsAI 评分 OpenAI 参与合著 Google Brain 论文《Concrete Problems in AI Safety》
OpenAI 与 Berkeley、Stanford 的研究者共同合著了 Google Brain 主导的论文《Concrete Problems in AI Safety》，探讨如何确保现代机器学习系统按预期运行。论文梳理了围绕这一目标的诸多研究问题。
OpenAI NewsAI 评分 OpenAI 的技术目标
OpenAI 公布其技术目标：构建安全的 AI，并确保 AI 带来的益处尽可能广泛且均衡地分配。
OpenAI NewsAI 评分 OpenAI 解读生成模型：四个项目与生成模型的现状与未来
OpenAI 介绍了四个围绕生成模型的项目，生成模型是机器学习中无监督学习技术的一个分支。文章同时解释了生成模型是什么、为何重要，以及未来可能的发展方向。
OpenAI NewsAI 评分 OpenAI 欢迎新团队成员加入
OpenAI 欢迎最新一批团队成员加入，并仍在持续招聘。
OpenAI NewsAI 评分 OpenAI Gym Beta 发布：强化学习算法开发与对比工具包
OpenAI 发布 OpenAI Gym 公测版，这是一个用于开发和对比强化学习（RL）算法的工具包。它包含一套持续扩充的环境（从模拟机器人到 Atari 游戏），以及一个用于对比和复现结果的网站。
OpenAI NewsAI 评分 OpenAI 欢迎 Pieter 和 Shivon 加入团队
OpenAI 宣布 Pieter 和 Shivon 加入团队，这是该公司公布的最新两项团队人事变动。原文未披露两人的具体职位与职责。
OpenAI NewsAI 评分 OpenAI 欢迎新成员加入团队
OpenAI 宣布过去几个月有多位优秀人才加入团队，并仍在持续招聘中。
OpenAI News精选AI 评分 OpenAI 宣布成立非营利人工智能研究公司
OpenAI 宣布成立，定位为非营利人工智能研究公司，目标是推进数字智能并以最有可能造福全人类的方式进行，不受财务回报需求的约束。文中称，由于研究不受财务义务限制，可以更专注于对人类产生积极影响。