Hugging Face Optimum Graphcore 上的 Vision Transformer 深度实践
Hugging Face 发布教程,演示如何在 Graphcore IPU 上用 Optimum Graphcore 库微调预训练 ViT 模型,并以 ChestX-ray14 数据集训练胸部 X 光分类器为例提供完整 notebook。
Hugging Face 发布教程,演示如何在 Graphcore IPU 上用 Optimum Graphcore 库微调预训练 ViT 模型,并以 ChestX-ray14 数据集训练胸部 X 光分类器为例提供完整 notebook。
Hugging Face 将 LLM.int8() 集成进 transformers 和 accelerate,用 8-bit 矩阵乘法把大模型显存占用降到约四分之一且不损失推理性能。
推荐理由:文章把 8-bit 量化原理、LLM.int8() 的离群值分解和 transformers 集成细节讲透,便于理解大模型显存占用来源。
Hugging Face 阐述了其 transformers 库在 TensorFlow 上的设计哲学:所有 TensorFlow 模型都是 Keras Model 对象,所有层都是 Keras Layer 对象,因此可直接调用 fit()、compile() 和 predict()。
Hugging Face 发布新库 Skops,可将 scikit-learn 模型托管到 Hugging Face Hub,并生成模型卡进行文档记录与协作。Skops 通过 hub_utils.init 生成含模型文件与环境配置的本地仓库,后端使用 joblib 加载模型,支持 pickle 等序列化方式。
Hugging Face 发布教程,讲解如何用 Docker 和 Kubernetes 将本地部署的 Vision Transformer(ViT)模型扩展为可服务多用户的线上服务。流程包括用 TensorFlow Serving 基础镜像容器化 SavedModel,再部署到 Google Kubernetes Engine(GKE)集群,Minikube 同样适用。
Hugging Face 发布教程,讲解如何从零构建或微调 Sentence Transformers 模型。模型由预训练 Transformer(如 distilroberta-base)加池化层组成,可将变长文本映射为固定长度嵌入向量;相比直接用 BERT,语义搜索 1 万句的耗时从约 65 小时降至约 5 秒。教程还介绍了四种数据集格式与对应损失函数的选择。
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization(PPO),通过计算新旧策略的概率比并将其裁剪在 [1−ϵ,1+ϵ] 区间内,避免策略更新过大、提升训练稳定性。
Hugging Face 发布 Private Hub(PH),将模型、数据集、Spaces 等 ML 工具整合到统一平台,支持企业在安全合规环境下协作开发。Hugging Face Hub 现有超 60K 模型、6K 数据集和 6K 演示应用,模型覆盖 180 种语言、支持最多 25 个 ML 库。约 90% 的机器学习模型从未进入生产环境,PH 旨在加速从研究到生产的全流程。
Nyströmformer 通过 Nyström 方法近似标准自注意力,将时间和内存复杂度从 O(n²) 降至 O(n)。它不直接对 softmax 矩阵采样,而是从 query 和 key 中用分段均值构造 landmark,仅需 32 或 64 个 landmark 即可在 n=4096 或 8192 的长序列上取得与标准自注意力及其他高效注意力机制相当的性能。
Hugging Face 于 2022 年 6 月就美国国家 AI 研究资源(NAIRR)中期报告提交反馈,建议任命技术与伦理专家担任顾问、制定模型与数据文档标准、为非技术专家提供低代码或无代码工具,并推动开源与开放科学的高风险滥用监测。其回应还建议投入法律专业能力制定负责任 AI 许可证,并以多语言资源支持多元研究者视角,BigScience 研究工坊被列为范例。
Hugging Face 为 🤗 Datasets 补充了音频和图像数据集的文档,Quickstart 新增按模态选择数据集的端到端示例,并引入 to_tf_dataset 函数,可将数据集转换为 tf.data.Dataset 供 TensorFlow 或 Keras 训练。
Hugging Face 的 transformers 库在 TensorFlow 下现可通过 XLA 编译文本生成,速度最高提升 100 倍,甚至快于 PyTorch。该功能需 transformers >= 4.21.0,支持采样、贪心解码、Beam Search 及 temperature、max_new_tokens 等参数控制。
Hugging Face 与外部贡献者已在 Transformers 中加入 Vision Transformer、Masked Autoencoders、RegNet。
Hugging Face 深度强化学习课程 Unit 7 讲解 Advantage Actor Critic(A2C),一种结合基于策略与基于价值方法的混合架构,通过 Actor 控制智能体行为、Critic 评估动作好坏来降低 Reinforce 中蒙特卡洛采样带来的高方差。课程使用 Stable-Baselines3 在 PyBullet 机器人环境中训练双足步行者和蜘蛛两个智能体行走。
Hugging Face 博客介绍动态对抗数据收集(DADC):让用户在与模型交互中构造能骗过模型的样本,再将这些对抗样本用于训练,多轮重复以提升鲁棒性。教程以 MNIST 手写数字识别为例,用 🤗 Spaces 搭建交互 demo,模型训练 20 个 epoch 后在测试集上达到 89% 准确率,并通过 flag 机制把对抗样本存入数据集再训练。
Hugging Face 披露了 176B 参数多语言模型 BLOOM 的训练技术细节,该模型基于 Megatron-DeepSpeed 的 3D 并行方案,在 384 张 80GB A100 GPU 上训练约 3.5 个月,消耗约 1M 计算时。训练数据为 59 种语言、350B token,模型词表规模 250,680,架构接近 GPT3 并加入若干改进。
用 Sentence Transformers 的语义搜索搭建歌单生成器:将歌词按段落切块并嵌入,以 msmarco-MiniLM-L-6-v3 生成提示词嵌入,检索最相近的段落,top_k=20 时通常能得到至少 9 首不同歌曲。整个多步 Gradio 应用基于 Blocks API 构建并托管在 Hugging Face Spaces,歌词嵌入已发布在 Hugging Face Hub 上。
Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,可生成 46 种自然语言和 13 种编程语言的文本。该模型由 70 多个国家、250 多家机构的 1000 多名研究者协作完成,在法国 Jean Zay 超算上训练 117 天,并首次公开训练中间检查点和优化器状态。
推荐理由:BLOOM 以 176B 参数覆盖 46 种自然语言,并公开训练中间检查点,可据此了解开放大模型的训练与复现路径。
Hugging Face 发布 Twitter 情感分析入门指南,介绍用 Inference API 几行代码即可批量分析推文情感,并给出无代码方案 Zapier 采集推文、调用 Inference API 分析后写入 Google Sheets。
Hugging Face 发布入门指南,以 Sentence Transformers 为例讲解如何从零启动第一个 ML 项目。该库可将句子、段落和图像转为嵌入向量,并通过 util.cos_sim 计算余弦相似度,已在 GitHub 收获近 8,000 stars,超过 3,000 个项目依赖它。文中还给出选题方法:先梳理工具能力,再从 Hugging Face Hub 等渠道寻找数据。
Hugging Face 推出 Evaluation on the Hub,由 AutoTrain 驱动,用户无需写一行代码即可在 Hub 上用任意数据集和指标评测任意模型。评测结果会以 Pull Request 形式写入模型卡元数据,并可在数据集页面的榜单中对比不同模型表现。官方已用该工具评测了数百个模型,并给出文本分类、命名实体识别和文本摘要等可直接试用的数据集。
推荐理由:原文说明了无需写代码即可在 Hub 上评测任意模型与数据集,并给出配置流程和榜单入口。
Hugging Face 介绍如何通过 Accelerate 库调用 DeepSpeed 的 ZeRO 功能加速大模型训练,无需改动代码即可启用。
Hugging Face 发布入门教程,演示如何用 Sentence Transformers 的 all-MiniLM-L6-v2 模型和 Inference API 为美国 Medicare FAQ 数据集生成嵌入向量,并上传至 Hub 免费托管。用户查询经嵌入后与数据集比对,即可找出语义最相似的 FAQ 条目。首次调用 API 约需 20 秒下载模型,后续请求会明显加快。
Hugging Face 介绍了三种将 Transformers 模型转为 ONNX 的方法:底层 torch.onnx、中层 transformers.onnx 和 Optimum 高层 API。
Intel 正式加入 Hugging Face 硬件合作伙伴计划,双方将基于开源库 Optimum 共同构建面向 Transformer 训练、微调与推理的硬件加速方案。Optimum Intel 构建在 Intel Neural Compressor 之上,支持量化、剪枝与知识蒸馏,并已实现对 Habana Gaudi 加速器的支持,其性价比比 GPU 高出最多 40%。
Hugging Face 发布“机器学习负责人洞察”系列金融版,邀请来自 U.S. Bank、Royal Bank of Canada、Moody's Analytics 及前 Bloomberg AI 研究科学家的金融 ML 专家分享经验。
Hugging Face 博客发布《The Annotated Diffusion Model》,基于 Ho 等人 2020 年的 DDPM 论文,用 PyTorch 逐步实现扩散模型。
推荐理由:以 PyTorch 逐步实现 DDPM,从数学推导到 U-Net 代码,适合想动手复现扩散模型的读者。
Hugging Face 深度强化学习课程第三单元讲解 Deep Q-Learning,用神经网络替代 Q-table 来近似每个动作的 Q 值,并训练智能体玩 Space Invaders 等 Atari 环境。
Graphcore 与 Hugging Face 在开源库 Optimum 中新增一批适配 IPU 的 Transformer 模型,可访问模型总数达 10 个,覆盖 NLP、语音和计算机视觉,均附带 IPU 配置文件和预训练、微调权重。
Hugging Face 在 Hub 上线 pull requests 和 discussions,模型、数据集和 Spaces 三类仓库均可在 Community 标签页使用,任何社区成员都能创建和参与。
Hugging Face 深度强化学习课程第二单元第二部分讲解 Q-Learning,一种基于价值的 off-policy 方法,用 TD 方式逐步更新动作价值函数。文中从零实现首个 Q-Learning 智能体,并在 Frozen Lake v1 和自动驾驶出租车两个环境中训练,为第三单元的 Deep Q-Learning 打基础。
Sempre Health 借助 Hugging Face 的 Expert Acceleration Program 搭建了自动分类并回复患者短信的 NLP 流水线,上线数周后近 20% 的入站消息由新系统自动处理。此前其基于规则的系统只能覆盖约 80% 的短信,Hugging Face 团队在标注质量、模型与方法选型上提供了指导,缩短了研发时间。
Hugging Face 多模态学习团队发布伦理章程,将伦理原则正式纳入机器学习研究生命周期。章程明确了内容政策,禁止暴力、歧视、侵犯隐私、生成虚假信息及在医疗、法律等高风险领域的不谨慎使用,并提出透明、开放可复现、公平、自我批判和尊重署名五项价值观。该文件由多模态团队联合伦理运营、数据治理和隐私专家讨论形成,截至 2022 年 5 月仍在完善中,更新将通过 GitHub 追踪。
Hugging Face 深度强化学习课程更新第二单元第一部分,讲解基于价值的方法,并区分蒙特卡洛与时序差分学习。内容涵盖状态价值函数、动作价值函数与贝尔曼方程,为后续 Q-Learning 算法及 Deep Q-Learning 打基础。
Hugging Face 推出 Fellowship 计划,面向开源机器学习生态的贡献者,由 Hugging Face 团队成员或现任 Fellow 提名,无申请截止日期。
Hugging Face 研究科学家 Sasha Luccioni 在访谈中介绍了她在 Big Science 项目中主持碳足迹工作组的工作,研究范围不止于 CO2 排放,还包括制造成本,甚至测算一封邮件产生多少 CO2。
Hugging Face 发布 Gradio 3.0,对 Gradio 库做了彻底重设计,前端改用 Svelte 等现代技术,页面体积更小、加载更快,并新增 Gallery 组件和 TabbedInterface 类。
推荐理由:Gradio 3.0 的前端重写与 Blocks 低层 API 展示了从固定布局到自定义数据流的转变,可据此判断演示搭建方式的变化。
Hugging Face 开放首届 Student Ambassador Program 申请,截止日期为 2022 年 6 月 13 日,计划于 6 月 30 日启动、12 月 31 日结束。入选学生将获得 Hugging Face 团队的工作坊与支持、同行协作网络及官方大使认证,申请者需为在读大学生、修过至少一门机器学习或数据科学课程,并使用过 Hugging Face Hub 或相关库。
Hugging Face 在 Optimum 1.2 中加入推理与 Transformers pipelines 支持,首批接入 ONNX Runtime,用户可将 AutoModelForXxx 直接替换为对应的 ORTModelForXxx。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia、Coatue 等参与,现有投资方 Addition、a_capital、SV Angel、Betaworks、AIX Ventures 等继续支持。
推荐理由:Hugging Face 官方披露 C 轮融资规模、领投方与资金用途,可了解其开源平台当时的规模与方向。