OpenAI 联合组建 Frontier Model Forum 前沿模型论坛
OpenAI 参与组建新的行业机构 Frontier Model Forum,旨在推动前沿 AI 系统的安全与负责任开发。该论坛将推进 AI 安全研究、确定最佳实践与标准,并促进政策制定者与行业间的信息共享。
OpenAI 参与组建新的行业机构 Frontier Model Forum,旨在推动前沿 AI 系统的安全与负责任开发。该论坛将推进 AI 安全研究、确定最佳实践与标准,并促进政策制定者与行业间的信息共享。
OpenAI 与 Microsoft 宣布延长双方的合作关系。该消息由 OpenAI 官方发布,未披露合作延长的具体条款、期限或金额。
Hugging Face 披露了 176B 参数多语言模型 BLOOM 的训练技术细节,该模型基于 Megatron-DeepSpeed 的 3D 并行方案,在 384 张 80GB A100 GPU 上训练约 3.5 个月,消耗约 1M 计算时。训练数据为 59 种语言、350B token,模型词表规模 250,680,架构接近 GPT3 并加入若干改进。
Hugging Face 介绍如何通过 Accelerate 库调用 DeepSpeed 的 ZeRO 功能加速大模型训练,无需改动代码即可启用。
微软提出 TAPEX,通过让 BART 学习执行合成 SQL 查询来实现表格预训练,无需真实标注数据。该方法在 WikiSQL、TabFact、SQA 和 WikiTableQuestions 四个基准上均取得 SOTA,其中 WikiSQL 准确率达 89.6%,WikiTableQuestions 达 57.5%。
Hugging Face 发布机器学习专家访谈,嘉宾 Margaret Mitchell 讲述其从微软 Seeing AI 到创立 Google 伦理 AI 团队、再到加入 Hugging Face 的经历。
OpenAI 已同意将 GPT-3 授权给 Microsoft,供其用于自家产品和服务。
推荐理由:OpenAI 将 GPT-3 授权给 Microsoft 用于自家产品,读者可借此了解早期大模型商业授权的合作方式。
微软向 OpenAI 投资 10 亿美元,支持其构建具有广泛经济收益的通用人工智能(AGI)。双方将在 Microsoft Azure 内合作开发可扩展至 AGI 的硬件和软件平台,联合开发新的 Azure AI 超算技术,微软将成为 OpenAI 的独家云服务提供商。
推荐理由:OpenAI 官方披露微软 10 亿美元投资与 Azure 独家云合作,可了解双方早期算力与平台绑定关系。
OpenAI 正与微软合作,将其大部分大规模实验迁移到 Azure 上运行。