OpenAI 发布 GPT-4
OpenAI 发布 GPT-4,官方称其可在创意与技术写作任务中生成、编辑内容并与用户反复迭代,例如作曲、写剧本或学习用户的写作风格。
推荐理由:OpenAI 官方公布 GPT-4 的写作能力,读者可据此了解它在创作与技术写作任务上的定位。
OpenAI 发布 GPT-4,官方称其可在创意与技术写作任务中生成、编辑内容并与用户反复迭代,例如作曲、写剧本或学习用户的写作风格。
推荐理由:OpenAI 官方公布 GPT-4 的写作能力,读者可据此了解它在创作与技术写作任务上的定位。
OpenAI 发布 Point-E,一个可从复杂提示词生成 3D 点云的系统。
OpenAI 宣布推出新版嵌入向量模型,称其在能力、成本效益和易用性上均有明显提升。
OpenAI 训练并发布名为 ChatGPT 的模型,以对话方式与用户交互。官方称对话格式让 ChatGPT 能回答追问、承认自身错误、质疑错误前提并拒绝不当请求。
推荐理由:OpenAI 官方给出 ChatGPT 的对话式交互定位,读者可据此了解它与以往模型的形态差异。
rinna 通过对 Stable Diffusion 进行微调,开发出支持日语提示词的文本生成图像模型 Japanese Stable Diffusion,模型已在 Hugging Face 和 GitHub 发布,代码基于 🧨 Diffusers。
OpenAI 训练并开源了神经网络 Whisper,其在英语语音识别上接近人类水平的鲁棒性和准确度。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可了解其在英语识别上的鲁棒性与准确度定位。
Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,可生成 46 种自然语言和 13 种编程语言的文本。该模型由 70 多个国家、250 多家机构的 1000 多名研究者协作完成,在法国 Jean Zay 超算上训练 117 天,并首次公开训练中间检查点和优化器状态。
推荐理由:BLOOM 以 176B 参数覆盖 46 种自然语言,并公开训练中间检查点,可据此了解开放大模型的训练与复现路径。
Hugging Face 将离线强化学习方法 Decision Transformer 集成进 transformers 库和 Hugging Face Hub,并发布 9 个 Gym 环境连续控制任务的预训练 checkpoint,覆盖 Hopper、Walker2D 和 Halfcheetah,Atari 环境 checkpoint 即将推出。
OpenAI 发布 GPT-3 和 Codex 的新版本,可在已有文本中编辑或插入内容,而不再只是补全现有文本。
推荐理由:OpenAI 公布 GPT-3 与 Codex 新增编辑与插入能力,读者可了解补全之外的新交互方式。
OpenAI 发布名为 CLIP 的神经网络,通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称,即可应用于任意视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由:OpenAI 官方介绍 CLIP 如何用自然语言监督学习视觉概念,并说明其零样本迁移到任意分类基准的方式。
OpenAI 训练了一个名为 DALL·E 的神经网络,可根据自然语言文本描述生成图像,覆盖自然语言可表达的多种概念。
推荐理由:OpenAI 公开 DALL·E 这一从文本生成图像的神经网络,可了解文生图方向的早期形态。
OpenAI 推出 Jukebox,一个能生成音乐的神经网络,可输出多种流派和艺术家风格的原始音频,并包含初步的歌唱。OpenAI 同时发布了模型权重和代码,以及一个用于探索生成样本的工具。
推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可了解这套音乐生成神经网络的能力边界与开放程度。
OpenAI 发布 GPT-2 分阶段发布的最后一个版本,即参数量 1.5B 的最大版本,同时公开代码和模型权重,以便检测 GPT-2 模型的输出。OpenAI 表示,尽管自 8 月以来已有更大的语言模型发布,仍按原定分阶段计划推进,为社区提供一个完整分阶段发布流程的测试案例,并希望它对未来强模型的开发者有用。
推荐理由:OpenAI 按分阶段发布计划放出 GPT-2 最大版本及权重,为后续强模型的负责任发布留下一个完整案例。
OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已于 2 月发布 124M 小模型、5 月分阶段发布 355M 中等模型,并与合作伙伴及 AI 社区研究该模型被滥用的可能性和社会价值。OpenAI 同时发布一份开源法律协议,便于各组织之间建立模型共享合作,并发布一份技术报告,介绍其与更广泛 AI 研究社区协调发布规范的经验。
推荐理由:OpenAI 公布 GPT-2 分阶段发布的时间线与参数规模,可了解其模型共享与发布规范的实践。
OpenAI 发布 MuseNet,一个深度神经网络,可生成 4 分钟、包含 10 种乐器的音乐作品,并能融合从乡村到莫扎特再到披头士的风格。MuseNet 并未被显式编程音乐知识,而是通过预测数十万份 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。
推荐理由:OpenAI 公开 MuseNet 的技术路线,读者可了解其如何用 GPT-2 同款无监督方法生成多风格音乐。
OpenAI 训练了一个大规模无监督语言模型,能生成连贯的段落文本,在多项语言建模基准上达到当时最优表现。该模型无需针对特定任务训练,即可完成基础的阅读理解、机器翻译、问答和摘要任务。
推荐理由:OpenAI 披露了无监督语言模型在多项语言任务上的表现,可了解早期大模型的能力边界。
OpenAI Baselines 新增 ACKTR 和 A2C 两个强化学习算法实现。A2C 是 A3C 的同步确定性变体,性能与之相当;ACKTR 比 TRPO 和 A2C 更节省样本,每次更新仅比 A2C 略多计算量。