OpenAI 用 GPT-3 从客户反馈中快速提取细致洞察
OpenAI 展示了用 GPT-3 从客户反馈中快速提取细致洞察的方法。该方案借助 GPT-3 对客户反馈进行分析,以更快获得 nuanced 的结论。
OpenAI 展示了用 GPT-3 从客户反馈中快速提取细致洞察的方法。该方案借助 GPT-3 对客户反馈进行分析,以更快获得 nuanced 的结论。
通过对 GPT-3 进行微调,将其用于驱动并规模化"代客制作"的视频创作。
OpenAI 正利用 GPT-3 创建新一代 AI 驱动的角色。该方向聚焦于以 GPT-3 生成更具表现力的虚拟角色,具体产品形态与可用性尚未披露。
OpenAI 应用 AI 研究团队的 Lilian Weng 阐述了持续学习的力量。原文未披露具体模型、版本号或技术细节。
OpenAI 发布 Point-E,一个可从复杂提示词生成 3D 点云的系统。
OpenAI 宣布推出新版嵌入向量模型,称其在能力、成本效益和易用性上均有明显提升。
OpenAI 超级计算团队工程师 Christian Gibson 分享了探索后端系统细节的工作。他隶属于 OpenAI 的 Supercomputing 团队。
Hugging Face 博客发布教程,介绍如何在 Apple Silicon 上通过 Core ML 使用 Stable Diffusion。原文正文抓取失败,仅标题可用。
OpenAI 训练并发布名为 ChatGPT 的模型,以对话方式与用户交互。官方称对话格式让 ChatGPT 能回答追问、承认自身错误、质疑错误前提并拒绝不当请求。
推荐理由:OpenAI 官方给出 ChatGPT 的对话式交互定位,读者可据此了解它与以往模型的形态差异。
Hugging Face 发布用 Diffusers 的 Dreambooth 脚本微调 Stable Diffusion 的实验总结,指出 Dreambooth 容易过拟合,需要在训练步数和学习率之间找平衡,建议先用低学习率再逐步增加步数。
推荐理由:Hugging Face 基于多组对照实验给出 Dreambooth 微调 Stable Diffusion 的学习率、步数与先验保留建议,可直接迁移到自己的训练配置。
OpenAI 宣布 DALL·E API 从今天起进入公开测试,开发者可以开始用它构建应用。
Hugging Face 发布教程,讲解如何用 🤗 Transformers 对 Whisper 进行微调,以适配任意多语言 ASR 数据集。Whisper 由 OpenAI 于 2022 年 9 月发布,基于 68 万小时标注音频预训练,覆盖 96 种以上语言,并提供 tiny 到 large-v3 共 11 个 checkpoint。
Hugging Face 将 Intel OpenVINO 加入 Optimum Intel,用户可在多种 Intel 处理器上用 OpenVINO Runtime 对 Transformers 模型执行推理,模型可托管于 Hugging Face hub 或本地。
Hugging Face 在 🤗 Evaluate 库中新增偏见指标与测量方法,用于评估 GPT-2、BLOOM 等因果语言模型的偏见。工作流分两步:用 🤗 Datasets 上的预定义提示词提示模型,再用 🤗 Evaluate 的指标评估生成内容,示例覆盖毒性、语言极性和伤害性三类任务。
Hugging Face 发布教程,演示如何通过三个逐级抽象的层次实现多 GPU 分布式训练:原生 PyTorch DDP(torch.distributed)、🤗 Accelerate 对 pytorch.distributed 的轻量封装,以及 🤗 Transformer 的高层 Trainer API。
Hugging Face 推出 MTEB(Massive Text Embedding Benchmark),一个覆盖 8 类任务、56 个数据集、最多 112 种语言的文本嵌入模型评测基准,排行榜已汇总超 2000 条结果。用户可通过 `pip install mteb` 对任意嵌入模型进行评测,并将结果提交至公开排行榜。
Hugging Face 推出 Inference Endpoints,可从 Hub 直接一键将模型部署到所选云平台的托管基础设施上,支持公有、受保护、私有三种访问级别。
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax,可在 Google TPU 上实现快速推理。
推荐理由:Hugging Face 官方给出在 TPU 上跑 Stable Diffusion 的完整代码路径,可迁移到多设备并行推理。
Hugging Face 分享了 BLOOM(176B 参数、bf16 下 352GB)推理服务的优化过程,数周内将延迟降低 5 倍、吞吐提升 50 倍。
Hugging Face 宣布用户可直接在 Hub 上为模型或数据集生成 DOI,该功能已与 DataCite 合作实现。注册用户填写必要元数据后即可获得 DOI,他人可通过模型或数据集页面上的“Cite this model/dataset”按钮引用其工作。带 DOI 的数据集和模型将被永久保留,仅可在向官方支持提交请求后删除。
rinna 通过对 Stable Diffusion 进行微调,开发出支持日语提示词的文本生成图像模型 Japanese Stable Diffusion,模型已在 Hugging Face 和 GitHub 发布,代码基于 🧨 Diffusers。
Hugging Face 在 Evaluation on the Hub 上线零样本分类评测,由 AutoTrain 驱动,无需写代码即可评测 Hub 上的任意因果语言模型,目前支持最大 66B 参数模型。
OpenAI 宣布 DALL·E 取消等待名单,新用户可以直接开始创作。官方称,部署中积累的经验以及安全系统的改进,使更广泛的开放成为可能。
推荐理由:原文交代了 DALL·E 取消等待名单的开放变化,读者可据此了解其使用门槛与安全系统调整。
Hugging Face AutoTrain 新增图像分类任务,用户无需编写代码即可上传数据训练模型,AutoTrain 会自动尝试多种模型架构并挑选最优方案。演示中 5 个候选模型里表现最佳者达到 84% 准确率,训练少于 500 张图片、5 个候选模型时免费。
Hugging Face 的 Accelerate 利用 PyTorch 的 meta device 先创建无权重空模型,再逐层加载权重并按设备映射分配,从而在内存和单卡显存不足时也能运行超大模型。
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit,一个面向 Sentence Transformers 的高效少样本微调框架,无需提示词或 verbaliser。
推荐理由:原文给出 SetFit 的两阶段训练流程与 RAFT 基准对比,读者可了解无提示词少样本分类的实现方式与成本。
Hugging Face 推出《Ethics and Society Newsletter》,按季节在春分秋分和夏至冬至发布,由公司内部跨部门开放小组“Ethics and Society regulars”撰写。
OpenAI 训练并开源了神经网络 Whisper,其在英语语音识别上接近人类水平的鲁棒性和准确度。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可了解其在英语识别上的鲁棒性与准确度定位。
Hugging Face 发布教程,展示如何用 DeepSpeed-Inference、Accelerate 和 DeepSpeed ZeRO 为 176B 参数的 BLOOM 模型做推理,并给出各方案在 8x80GB A100 上的吞吐与加载耗时基准。
推荐理由:文章给出 BLOOM 176B 在多种 GPU 配置下的吞吐与加载耗时对比,可据此选择部署方案。
Hugging Face 发布 diffusers 0.3,为扩散模型工具箱新增图生图 pipeline、文本反转、实验性 inpainting pipeline、ONNX 导出器与 Mac 支持。其中显存优化让 Stable Diffusion 只需 3.2GB 显存,代价是约 10% 的速度损失;文本反转支持用 3-5 张样本个性化模型,社区几天内分享了 200 多个概念。
推荐理由:梳理 diffusers 0.3 新增的图生图、文本反转、inpainting 与显存优化,可据此判断扩散模型工具链的可用边界。
Hugging Face 发布教程,教你用 transformers 库从零训练一个离线 Decision Transformer,让 HalfCheetah 在 Gym 环境中奔跑。
Hugging Face 发布教程,讲解如何在 NVIDIA GPU 上用 Megatron-LM 训练 GPT2 语言模型并接入 Transformers。Megatron-LM 通过高效 DataLoader、Fused CUDA Kernels 和 Apex 的 Fused AdamW 实现加速,但使用门槛高于 Accelerate 和 Trainer。
OpenAI 为 DALL·E 推出 outpainting 功能,可生成任意尺寸的图像,用于扩展创作画面、讲述更大的故事。
RAIL Initiative 推出、Hugging Face 支持的 OpenRAIL 是一类 AI 专用许可框架,允许免版税访问、下游使用与再分发,同时嵌入针对特定关键场景的使用限制。该许可借鉴 BigScience、开源与 Creative Commons 的做法,试图在广泛开放 ML 模型与约束有害用途之间划出界线,并赋予许可方在发现滥用时的执行能力。
OpenAI 正在提升 AI 系统从人类反馈中学习、以及协助人类评估 AI 的能力。其目标是构建一个足够对齐的 AI 系统,进而帮助解决所有其他对齐问题。
Hugging Face 发布教程,介绍如何用 3Dmol.js 和 Gradio 的 HTML 组件在 Hugging Face Spaces 中可视化蛋白质结构。用户可输入 4 位 PDB 代码或上传 PDB 文件,应用会从 RCSB Protein Databank 获取结构并渲染。文章还提到可用 Molecule3D Gradio 自定义组件简化这一流程。
Hugging Face 发布教程,演示如何在 AWS DL1 实例上借助 Habana Gaudi 从零预训练 BERT-base,使用 Transformers、Optimum Habana 和 Datasets 库完成掩码语言建模任务。
Hugging Face 发布教程,介绍如何用 Diffusers 库运行 Stable Diffusion 文生图模型,安装 diffusers==0.10.2 后通过 StableDiffusionPipeline.from_pretrained 加载 CompVis/stable-diffusion-v1-4 即可生成图像。
推荐理由:原文给出 Stable Diffusion 在 Diffusers 中的完整调用方式与自定义推理管线代码,可迁移到其他扩散模型。
Hugging Face 展示了如何将 TensorFlow 版 ViT B/16 模型部署到 Google Cloud 的 Vertex AI 平台,用比 Kubernetes 更少的代码实现同等扩展性。
Hugging Face 发布教程,演示如何在 Graphcore IPU 上用 Optimum Graphcore 库微调预训练 ViT 模型,并以 ChestX-ray14 数据集训练胸部 X 光分类器为例提供完整 notebook。