Hugging Face Hub 推出 CO2 排放追踪与低排放模型搜索功能
Hugging Face 为 huggingface_hub 库新增 emissions_threshold 参数，可按训练碳排放量筛选 Hub 上的模型，例如筛选出 191 个排放不超过 100 克的模型。transformers 则通过集成 codecarbon，在 Trainer 训练时自动记录碳排放并生成 emissions.csv，方便开发者将数据填入模型卡。
#数据/训练
#数据/训练
Hugging Face BlogAI 评分
Habana Labs 与 Hugging Face 合作加速 Transformer 模型训练
Habana Labs 与 Hugging Face 宣布合作，将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成，开发者只需几行代码即可在 Habana 处理器上加速 Transformer 训练。
Hugging Face 在 transformers 库中集成 Decision Transformer
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hugging Face Hub，并发布 9 个 Gym 环境连续控制任务的预训练 checkpoint，覆盖 Hopper、Walker2D 和 Halfcheetah，Atari 环境 checkpoint 即将推出。
OpenAI NewsAI 评分 OpenAI 征集大语言模型经济影响研究意向
OpenAI 发起意向征集，邀请研究者申请参与大语言模型经济影响的研究。该征集面向有意研究 LLM 经济影响的各方，具体参与方式与研究方向未在公告中详述。
用 🤗 Transformers 微调 ViT 进行图像分类
Hugging Face 发布教程，演示如何用 🤗 datasets 加载 beans 图像分类数据集，并借助 🤗 transformers 微调预训练的 google/vit-base-patch16-224-in21k 模型。
Hugging Face Hub 集成 Stable-Baselines3
Hugging Face 宣布将 PyTorch 深度强化学习库 Stable-Baselines3 集成到 Hugging Face Hub，用户可通过 pip install huggingface_sb3 上传和加载已保存的模型。
如何用 AutoNLP 和 Prodigy 构建主动学习流水线
Hugging Face 的 AutoNLP 与 Explosion 的标注工具 Prodigy 可组合成主动学习流水线：先用 Prodigy 对 BBC News 数据集做 NER 标注，约 20 条样本后即用 AutoNLP 训练模型。AutoNLP 支持二分类、多分类、token 分类、问答、摘要等任务，价格低至每模型 $10，本次多分类实验最佳模型准确率达 98.67%。
Hugging Face 从零训练 GPT-2 代码生成模型 CodeParrot
Hugging Face 发布教程，介绍如何从零训练 GPT-2 大模型 CodeParrot，用于自动补全 Python 代码。
OpenAI NewsAI 评分 OpenAI 推出 Residency 人才培养项目
OpenAI 宣布推出 OpenAI Residency，作为其支持和培养 AI 人才努力的一部分。该项目面向 AI 人才发展，具体申请条件与时间安排未在公告中披露。
OpenAI News精选AI 评分 OpenAI 训练系统解小学数学应用题，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学阶段数学应用题的系统，准确率约为微调 GPT-3 模型的两倍。该系统能解出约 90% 的题目数量，与真实儿童相当：9-12 岁小样本在其数据集测试中得分 60%，系统在同一批题目上得分 55%。
推荐理由：OpenAI 用小学数学应用题对比微调 GPT-3 与儿童成绩，可了解当时模型解题能力的实际水平。
OpenAI NewsAI 评分 OpenAI 用人类反馈总结书籍内容
OpenAI 发布关于用人类反馈总结书籍的研究，聚焦如何对难以评估的任务扩大人类监督规模。
OpenAI NewsAI 评分 OpenAI 用精选数据集微调改善语言模型行为
OpenAI 研究发现，用一个小规模精选数据集对语言模型进行微调，即可改善其在特定行为价值观方面的表现。
OpenAI NewsAI 评分 OpenAI Scholars 2021 毕业项目公布
OpenAI 宣布 2021 届 OpenAI Scholars 已完成为期六个月的导师计划，并在 OpenAI 提供的津贴与支持下完成了开源研究项目。
OpenAI NewsAI 评分 OpenAI 用人类反馈训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
OpenAI News精选AI 评分 OpenAI 发布 Image GPT：用 Transformer 生成图像
OpenAI 发现，正如在语言上训练的大型 Transformer 模型能生成连贯文本，同一模型在像素序列上训练后也能生成连贯的图像补全与样本。通过建立样本质量与图像分类准确率之间的相关性，OpenAI 表明其最佳生成模型在无监督设置下所含特征可与顶级卷积网络竞争。
推荐理由：OpenAI 用同一 Transformer 架构处理像素序列，并给出生成质量与分类精度的关联证据。
OpenAI News精选AI 评分 OpenAI 分析：训练神经网络达到 AlexNet 水平所需算力比 2012 年减少 44 倍
OpenAI 发布一项分析，指出自 2012 年以来，在 ImageNet 分类任务上训练神经网络达到同等性能所需的算力每 16 个月减少一半。与 2012 年相比，如今训练一个达到 AlexNet 水平的神经网络所需算力减少 44 倍，而同期摩尔定律带来的成本改善为 11 倍。分析认为，在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率的提升。
推荐理由：OpenAI 用 ImageNet 训练算力数据量化算法进步，读者可据此理解算法效率与硬件效率的相对贡献。
OpenAI NewsAI 评分 OpenAI 研究：深度学习中 CNN、ResNet 与 Transformer 的双重下降现象
OpenAI 发现双重下降现象同样出现在 CNN、ResNet 和 Transformer 中：随着模型规模、数据量或训练时间增加，性能先提升、再变差、然后再次提升。这一效应通常可通过精细的正则化加以规避，但研究者尚不完全理解其成因，认为值得进一步研究。
OpenAI NewsAI 评分 OpenAI 发布 Procgen Benchmark：16 个程序化生成环境
OpenAI 发布 Procgen Benchmark，包含 16 个易于使用的程序化生成环境，用于直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI NewsAI 评分 OpenAI 发布 Safety Gym：衡量强化学习智能体安全约束的训练环境套件
OpenAI 发布 Safety Gym，一套用于衡量强化学习智能体在训练中遵守安全约束进展的环境与工具套件。该套件面向安全约束下的强化学习研究，提供配套环境与工具以评估智能体的安全表现。
OpenAI News精选AI 评分 OpenAI 发布 GPT-2 最大版本 1.5B 及代码与模型权重
OpenAI 发布 GPT-2 分阶段发布的最后一个版本，即参数量 1.5B 的最大版本，同时公开代码和模型权重，以便检测 GPT-2 模型的输出。OpenAI 表示，尽管自 8 月以来已有更大的语言模型发布，仍按原定分阶段计划推进，为社区提供一个完整分阶段发布流程的测试案例，并希望它对未来强模型的开发者有用。
推荐理由：OpenAI 按分阶段发布计划放出 GPT-2 最大版本及权重，为后续强模型的负责任发布留下一个完整案例。
OpenAI News精选AI 评分 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，在多项任务上成功匹配外部人类标注者的偏好，但这些偏好并不总与 OpenAI 自己的预期一致。
推荐理由：OpenAI 用人类反馈微调 GPT-2 的早期实验，呈现了标注偏好如何直接塑造模型行为。
OpenAI News精选AI 评分 OpenAI 发布 774M 参数 GPT-2 模型并公开模型共享法律协议
OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已于 2 月发布 124M 小模型、5 月分阶段发布 355M 中等模型，并与合作伙伴及 AI 社区研究该模型被滥用的可能性和社会价值。OpenAI 同时发布一份开源法律协议，便于各组织之间建立模型共享合作，并发布一份技术报告，介绍其与更广泛 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 公布 GPT-2 分阶段发布的时间线与参数规模，可了解其模型共享与发布规范的实践。
OpenAI News精选AI 评分 OpenAI 提出 Sparse Transformer，可建模序列长度提升 30 倍
OpenAI 开发了 Sparse Transformer，一种深度神经网络，在预测序列中下一个元素的任务上创下新纪录，可处理文本、图像和声音。它通过对注意力机制做算法改进来提取序列中的模式，可建模的序列长度是此前的 30 倍。
推荐理由：OpenAI 用稀疏注意力把可建模序列长度提升到此前 30 倍，可了解长序列建模的早期思路。
OpenAI NewsAI 评分 OpenAI 提出能量模型（EBM）的隐式生成与泛化方法
OpenAI 在能量模型（EBM）的稳定、可扩展训练上取得进展，样本质量和泛化能力优于现有模型。EBM 生成时投入更多算力持续精修答案，在低温下可生成与 GAN 媲美的样本，同时具备似然类模型的模式覆盖保证。
OpenAI NewsAI 评分 OpenAI 与 Google 合作推出 Activation Atlases
OpenAI 与 Google 研究人员合作推出 Activation Atlases，一种可视化神经元之间交互所代表含义的新技术。随着 AI 系统被部署到日益敏感的场景，更好地理解其内部决策过程将有助于识别弱点和调查失败原因。
OpenAI NewsAI 评分 OpenAI 举办首届 Spinning Up 深度强化学习研讨会
OpenAI 于 2 月 2 日举办首届 Spinning Up Workshop，这是其新教育计划的一部分。
OpenAI News精选AI 评分 OpenAI 训练出大规模无监督语言模型，多项语言任务无需特定训练
OpenAI 训练了一个大规模无监督语言模型，能生成连贯的段落文本，在多项语言建模基准上达到当时最优表现。该模型无需针对特定任务训练，即可完成基础的阅读理解、机器翻译、问答和摘要任务。
推荐理由：OpenAI 披露了无监督语言模型在多项语言任务上的表现，可了解早期大模型的能力边界。
OpenAI NewsAI 评分 OpenAI 研究：AI 训练如何扩展
OpenAI 发现梯度噪声尺度这一简单统计指标可预测神经网络训练在多种任务上的可并行性。由于复杂任务的梯度噪声更大，未来更大的 batch size 可能变得有用，从而消除 AI 系统继续扩展的一项潜在限制。
OpenAI NewsAI 评分 OpenAI 用能量函数模型学习概念
OpenAI 开发了一种基于能量的模型，仅需五次演示即可学会识别并生成以 2D 点集表达的概念，如 near、above、between、closest 和 furthest。该模型还展现出跨域迁移能力：在 2D 粒子环境中学习的概念可用于解决 3D 物理机器人的任务。
OpenAI NewsAI 评分 OpenAI Scholars 2019 申请开放
OpenAI 开放第二届 OpenAI Scholars 项目申请，面向 underrepresented 群体提供 6–10 个津贴与导师指导名额，全职学习深度学习 3 个月并开源一个项目。
OpenAI News精选AI 评分 OpenAI 用无监督预训练提升语言理解能力
OpenAI 用可扩展、与任务无关的系统在一组多样语言任务上取得 state-of-the-art 结果，并公开该系统。其方法结合了 Transformer 与无监督预训练两个已有思路，作者认为这为监督学习方法搭配无监督预训练的有效性提供了有说服力的例证，并希望推动在更大、更多样数据集上继续研究这一思路。
推荐理由：OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果，并公开了这套与任务无关的系统。
OpenAI NewsAI 评分 OpenAI 发布 Gym Retro 完整版：强化学习游戏平台游戏数超 1000
OpenAI 发布强化学习游戏平台 Gym Retro 完整版，公开游戏数量从约 70 款 Atari 和 30 款 Sega 游戏扩展至超过 1000 款，覆盖多种模拟器后端。OpenAI 同时发布了用于向该平台添加新游戏的工具。
OpenAI News精选AI 评分 OpenAI 分析：最大 AI 训练算力自 2012 年起每 3.4 个月翻倍
OpenAI 发布一项分析，指出自 2012 年以来最大规模 AI 训练所用算力呈指数增长，翻倍周期为 3.4 个月，而摩尔定律的翻倍周期为 2 年。该指标自 2012 年以来增长超过 300,000 倍，若按 2 年翻倍计算则仅增长 7 倍。OpenAI 表示算力提升是 AI 进展的关键组成部分，若这一趋势延续，值得为远超当前能力的系统做准备。
推荐理由：OpenAI 用 2012 年以来的训练算力数据给出 3.4 个月翻倍的经验规律，可与摩尔定律对照理解 AI 进展节奏。
OpenAI NewsAI 评分 OpenAI 发布 Evolved Policy Gradients 元学习方法
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），通过进化学习智能体的损失函数，使其能在新任务上快速训练。用 EPG 训练的智能体可在测试时完成训练范围之外的基础任务，例如学会导航到房间中与训练时放置位置相反一侧的物体。
OpenAI NewsAI 评分 OpenAI 启动 Retro Contest 迁移学习竞赛
OpenAI 发起 Retro Contest 迁移学习竞赛，用于衡量强化学习算法从既往经验中泛化的能力。
OpenAI NewsAI 评分 OpenAI 提出可扩展元学习算法 Reptile
OpenAI 开发出可扩展元学习算法 Reptile，通过反复采样任务、对任务执行随机梯度下降，并将初始参数朝该任务最终学到的参数更新。Reptile 是 Shortest Descent 算法在元学习场景的应用，数学上与一阶 MAML 相似，只需黑盒访问 SGD 或 Adam 等优化器，计算效率与性能相当。
OpenAI NewsAI 评分 OpenAI 用自动发现的类型实现实体消歧
OpenAI 构建了一套实体消歧系统，通过神经网络判断一个词是否属于约 100 个自动发现的“类型”（非互斥类别），从而自动确定该词指代的是哪个对象。
OpenAI NewsAI 评分 OpenAI 发布块稀疏 GPU 内核
OpenAI 发布针对块稀疏权重神经网络的高度优化 GPU 内核，按所选稀疏度可比 cuBLAS 或 cuSPARSE 快数个数量级。团队已用这些内核在文本情感分析和文本、图像生成建模上取得 SOTA 结果。
OpenAI NewsAI 评分 OpenAI 如何让纯仿真训练的机器人控制器泛化到真实环境
OpenAI 的机器人技术让完全在仿真中训练、部署到实体机器人上的控制器，能在执行简单任务时对环境中未预料的变化做出反应，即从开环系统转为闭环系统。
OpenAI NewsAI 评分 OpenAI 用元学习让机器人摔跤手快速击败更强对手
OpenAI 展示在模拟机器人摔跤任务中，元学习智能体能快速学会击败更强的非元学习智能体，并能适应自身物理故障。