如何在 Habana Gaudi 上快速上手 Transformers 微调
Hugging Face 与 Habana Labs 合作,展示如何在 AWS EC2 DL1 实例(搭载 8 颗 Habana Gaudi 处理器)上微调 BERT 模型。
Hugging Face 与 Habana Labs 合作,展示如何在 AWS EC2 DL1 实例(搭载 8 颗 Habana Gaudi 处理器)上微调 BERT 模型。
Hugging Face 发布博客,演示如何用其生态工具处理客户服务场景:将筛选最不满客户消息建模为文本分类任务,分为 very unsatisfied 到 very satisfied 五类。
Hugging Face 的 Transformers 库有意不遵循 DRY 原则,转而采用“单模型文件”策略:模型前向传播所需的全部代码只放在一个模型文件中,注意力机制代码因此被复制到 50 多个模型文件里。官方给出的理由包括该库由开源社区共建、建模代码本身就是产品、机器学习领域演进极快,以及模型发布后基本不再改动。
Hugging Face 发布教程,演示如何用 transformers 库微调 SegFormer 语义分割模型,并以自建的 segments/sidewalk-semantic 人行道数据集训练披萨配送机器人识别路面。教程覆盖从 Hub 加载数据集、用 SegformerImageProcessor 与 ColorJitter 做数据增强,到按 B0 至 B5 五种规模微调模型的完整流程。
Hugging Face 发布端到端教程,演示如何用 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。
Hugging Face 的 🤗 datasets 现已支持图像特征类型,可结合 sentence_transformers 和 faiss 为图像数据集构建相似度搜索应用。文中以英国图书馆数字化书籍插图数据集为例,通过 ImageFolder 加载器直接载入含 image 和 label 特征的 10000 行数据,并利用 datasets 内置的 faiss 索引能力实现图像检索。
Hugging Face 在 Transformers 中推出约束束搜索(constrained beam search),通过 model.generate() 的 force_words_ids 参数强制输出包含指定词。
BERT 是 Google AI Language 研究人员于 2018 年开发的 NLP 模型,全称 Bidirectional Encoder Representations from Transformers,可同时解决 11+ 种常见语言任务。
Hugging Face 发布教程,演示如何用 🤗 datasets 加载 beans 图像分类数据集,并借助 🤗 transformers 微调预训练的 google/vit-base-patch16-224-in21k 模型。
Hugging Face Hub 上已有超过 215 个情感分析模型,用 Python 的 transformers pipeline 只需 5 行代码即可调用,默认模型对 "I love you" 和 "I hate you" 的预测置信度分别为 0.9998 和 0.9991。
Hugging Face 博客介绍了利用 Wav2Vec2 的 CTC 架构特性,通过带 stride 的重叠分块推理,让 ASR 在任意长音频上也能保持高质量识别。只需在 pipeline 中设置 chunk_length_s 和 stride_length_s,即可避免直接处理长文件时的显存溢出,该技巧同样适用于 LM 增强的 Wav2Vec2 模型,并可用于实时推理。
Hugging Face 为 huggingface_hub 库新增 ModelSearchArguments、DatasetSearchArguments 和 ModelFilter 类,让用户无需离开 Jupyter 或 Python 环境即可按任务、数据集、框架等条件搜索 Hub 上的模型和数据集。
🤗 Transformers 现已集成 Kensho Technologies 的 pyctcdecode 库,可将 n-gram 语言模型与微调后的 Wav2Vec2 检查点结合用于音频解码。
Hugging Face 发布教程,介绍如何用 Amazon SageMaker 和 Hugging Face Inference Toolkit 部署 GPT-J 6B 做实时推理,可在 NVIDIA T4 等常规 GPU 实例(约 500 美元/月)上运行。
Hugging Face 的 AutoNLP 与 Explosion 的标注工具 Prodigy 可组合成主动学习流水线:先用 Prodigy 对 BBC News 数据集做 NER 标注,约 20 条样本后即用 AutoNLP 训练模型。AutoNLP 支持二分类、多分类、token 分类、问答、摘要等任务,价格低至每模型 $10,本次多分类实验最佳模型准确率达 98.67%。
OpenAI 发布文章介绍为应用定制 GPT-3 的方法,指出可通过单条命令完成微调。
Hugging Face 发布教程,介绍如何从零训练 GPT-2 大模型 CodeParrot,用于自动补全 Python 代码。
OpenAI 于 2 月 2 日举办首届 Spinning Up Workshop,这是其新教育计划的一部分。
OpenAI 认为深度学习是一门经验科学,团队基础设施的质量是进展的倍增器。如今的开源生态让任何人都能搭建出色的深度学习基础设施。