训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
Hugging Face 发布 BLOOM，一个 176B 参数的多语言大语言模型，可生成 46 种自然语言和 13 种编程语言的文本。该模型由 70 多个国家、250 多家机构的 1000 多名研究者协作完成，在法国 Jean Zay 超算上训练 117 天，并首次公开训练中间检查点和优化器状态。
推荐理由：BLOOM 以 176B 参数覆盖 46 种自然语言，并公开训练中间检查点，可据此了解开放大模型的训练与复现路径。
OpenAI 提出 Video PreTraining（VPT）方法，在大量无标注的人类玩 Minecraft 视频数据上训练神经网络，仅使用少量承包商标注数据。经微调后，模型能学会制作钻石工具，这一任务通常需要熟练人类花费 20 多分钟、约 24000 次操作。模型使用键盘按键和鼠标移动这类原生人类交互接口，通用性较强，是迈向通用计算机使用智能体的一步。
推荐理由：OpenAI 用少量标注数据加海量无标注视频训练出能玩 Minecraft 的模型，可了解视频预训练这条路径的早期做法。
Hugging Face 博客发布《The Annotated Diffusion Model》，基于 Ho 等人 2020 年的 DDPM 论文，用 PyTorch 逐步实现扩散模型。
推荐理由：以 PyTorch 逐步实现 DDPM，从数学推导到 U-Net 代码，适合想动手复现扩散模型的读者。
OpenAI 训练了一个求解小学阶段数学应用题的系统，准确率约为微调 GPT-3 模型的两倍。该系统能解出约 90% 的题目数量，与真实儿童相当：9-12 岁小样本在其数据集测试中得分 60%，系统在同一批题目上得分 55%。
推荐理由：OpenAI 用小学数学应用题对比微调 GPT-3 与儿童成绩，可了解当时模型解题能力的实际水平。
OpenAI 发现，正如在语言上训练的大型 Transformer 模型能生成连贯文本，同一模型在像素序列上训练后也能生成连贯的图像补全与样本。通过建立样本质量与图像分类准确率之间的相关性，OpenAI 表明其最佳生成模型在无监督设置下所含特征可与顶级卷积网络竞争。
推荐理由：OpenAI 用同一 Transformer 架构处理像素序列，并给出生成质量与分类精度的关联证据。
OpenAI 发布一项分析，指出自 2012 年以来，在 ImageNet 分类任务上训练神经网络达到同等性能所需的算力每 16 个月减少一半。与 2012 年相比，如今训练一个达到 AlexNet 水平的神经网络所需算力减少 44 倍，而同期摩尔定律带来的成本改善为 11 倍。分析认为，在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率的提升。
推荐理由：OpenAI 用 ImageNet 训练算力数据量化算法进步，读者可据此理解算法效率与硬件效率的相对贡献。
OpenAI 发布 GPT-2 分阶段发布的最后一个版本，即参数量 1.5B 的最大版本，同时公开代码和模型权重，以便检测 GPT-2 模型的输出。OpenAI 表示，尽管自 8 月以来已有更大的语言模型发布，仍按原定分阶段计划推进，为社区提供一个完整分阶段发布流程的测试案例，并希望它对未来强模型的开发者有用。
推荐理由：OpenAI 按分阶段发布计划放出 GPT-2 最大版本及权重，为后续强模型的负责任发布留下一个完整案例。
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，在多项任务上成功匹配外部人类标注者的偏好，但这些偏好并不总与 OpenAI 自己的预期一致。
推荐理由：OpenAI 用人类反馈微调 GPT-2 的早期实验，呈现了标注偏好如何直接塑造模型行为。
OpenAI 发布 774M 参数的 GPT-2 语言模型，此前已于 2 月发布 124M 小模型、5 月分阶段发布 355M 中等模型，并与合作伙伴及 AI 社区研究该模型被滥用的可能性和社会价值。OpenAI 同时发布一份开源法律协议，便于各组织之间建立模型共享合作，并发布一份技术报告，介绍其与更广泛 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 公布 GPT-2 分阶段发布的时间线与参数规模，可了解其模型共享与发布规范的实践。
OpenAI 开发了 Sparse Transformer，一种深度神经网络，在预测序列中下一个元素的任务上创下新纪录，可处理文本、图像和声音。它通过对注意力机制做算法改进来提取序列中的模式，可建模的序列长度是此前的 30 倍。
推荐理由：OpenAI 用稀疏注意力把可建模序列长度提升到此前 30 倍，可了解长序列建模的早期思路。
OpenAI 训练了一个大规模无监督语言模型，能生成连贯的段落文本，在多项语言建模基准上达到当时最优表现。该模型无需针对特定任务训练，即可完成基础的阅读理解、机器翻译、问答和摘要任务。
推荐理由：OpenAI 披露了无监督语言模型在多项语言任务上的表现，可了解早期大模型的能力边界。
OpenAI 用可扩展、与任务无关的系统在一组多样语言任务上取得 state-of-the-art 结果，并公开该系统。其方法结合了 Transformer 与无监督预训练两个已有思路，作者认为这为监督学习方法搭配无监督预训练的有效性提供了有说服力的例证，并希望推动在更大、更多样数据集上继续研究这一思路。
推荐理由：OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果，并公开了这套与任务无关的系统。
OpenAI 发布一项分析，指出自 2012 年以来最大规模 AI 训练所用算力呈指数增长，翻倍周期为 3.4 个月，而摩尔定律的翻倍周期为 2 年。该指标自 2012 年以来增长超过 300,000 倍，若按 2 年翻倍计算则仅增长 7 倍。OpenAI 表示算力提升是 AI 进展的关键组成部分，若这一趋势延续，值得为远超当前能力的系统做准备。
推荐理由：OpenAI 用 2012 年以来的训练算力数据给出 3.4 个月翻倍的经验规律，可与摩尔定律对照理解 AI 进展节奏。
OpenAI 发现自对弈能让模拟 AI 在未专门设计相应环境的情况下，自行发现擒抱、闪避、假动作、踢球、接球和扑球等身体技能。自对弈还能让环境难度始终与 AI 水平匹配，从而持续推动其进步。结合 Dota 2 的自对弈结果，OpenAI 表示越来越相信自对弈将成为未来强大 AI 系统的核心组成部分。
推荐理由：OpenAI 用自对弈让模拟 AI 自行涌现出擒抱、假动作等身体技能，可了解自对弈作为训练范式的早期思路。
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），性能与当时最先进方法相当或更好，同时实现和调参都更简单。PPO 因易用且表现良好，已成为 OpenAI 的默认强化学习算法。
推荐理由：OpenAI 公开了 PPO 这一强化学习算法，读者可了解它为何成为其默认训练方法。