Llama 2 发布,可在 Hugging Face 获取
Hugging Face 博客发布消息称 Llama 2 已发布,并可在 Hugging Face 上获取。原文正文未能抓取,除标题外暂无更多细节。
Hugging Face 博客发布消息称 Llama 2 已发布,并可在 Hugging Face 上获取。原文正文未能抓取,除标题外暂无更多细节。
Hugging Face 发布博客宣布 Falcon 模型已落地 Hugging Face 生态。原文正文抓取失败,仅标题可用,暂无更多细节。
Hugging Face 发布面向代码的大语言模型 StarCoder,标题称其在代码任务上达到当时的最先进水平。
Hugging Face 发布 StackLLaMA 实操指南,介绍如何用 RLHF 训练 LLaMA。
Hugging Face 博客发布 ControlNet in 🧨 Diffusers,宣布 ControlNet 接入 Diffusers 库。
Hugging Face 发布教程,讲解如何用 🤗 Transformers 对 Whisper 进行微调,以适配任意多语言 ASR 数据集。Whisper 由 OpenAI 于 2022 年 9 月发布,基于 68 万小时标注音频预训练,覆盖 96 种以上语言,并提供 tiny 到 large-v3 共 11 个 checkpoint。
Hugging Face 将 Intel OpenVINO 加入 Optimum Intel,用户可在多种 Intel 处理器上用 OpenVINO Runtime 对 Transformers 模型执行推理,模型可托管于 Hugging Face hub 或本地。
Hugging Face 分享了 BLOOM(176B 参数、bf16 下 352GB)推理服务的优化过程,数周内将延迟降低 5 倍、吞吐提升 50 倍。
Hugging Face 宣布用户可直接在 Hub 上为模型或数据集生成 DOI,该功能已与 DataCite 合作实现。注册用户填写必要元数据后即可获得 DOI,他人可通过模型或数据集页面上的“Cite this model/dataset”按钮引用其工作。带 DOI 的数据集和模型将被永久保留,仅可在向官方支持提交请求后删除。
rinna 通过对 Stable Diffusion 进行微调,开发出支持日语提示词的文本生成图像模型 Japanese Stable Diffusion,模型已在 Hugging Face 和 GitHub 发布,代码基于 🧨 Diffusers。
Hugging Face 的 Accelerate 利用 PyTorch 的 meta device 先创建无权重空模型,再逐层加载权重并按设备映射分配,从而在内存和单卡显存不足时也能运行超大模型。
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit,一个面向 Sentence Transformers 的高效少样本微调框架,无需提示词或 verbaliser。
推荐理由:原文给出 SetFit 的两阶段训练流程与 RAFT 基准对比,读者可了解无提示词少样本分类的实现方式与成本。
Hugging Face 推出《Ethics and Society Newsletter》,按季节在春分秋分和夏至冬至发布,由公司内部跨部门开放小组“Ethics and Society regulars”撰写。
OpenAI 训练并开源了神经网络 Whisper,其在英语语音识别上接近人类水平的鲁棒性和准确度。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可了解其在英语识别上的鲁棒性与准确度定位。
Hugging Face 发布教程,展示如何用 DeepSpeed-Inference、Accelerate 和 DeepSpeed ZeRO 为 176B 参数的 BLOOM 模型做推理,并给出各方案在 8x80GB A100 上的吞吐与加载耗时基准。
推荐理由:文章给出 BLOOM 176B 在多种 GPU 配置下的吞吐与加载耗时对比,可据此选择部署方案。
Hugging Face 发布 diffusers 0.3,为扩散模型工具箱新增图生图 pipeline、文本反转、实验性 inpainting pipeline、ONNX 导出器与 Mac 支持。其中显存优化让 Stable Diffusion 只需 3.2GB 显存,代价是约 10% 的速度损失;文本反转支持用 3-5 张样本个性化模型,社区几天内分享了 200 多个概念。
推荐理由:梳理 diffusers 0.3 新增的图生图、文本反转、inpainting 与显存优化,可据此判断扩散模型工具链的可用边界。
Hugging Face 发布教程,教你用 transformers 库从零训练一个离线 Decision Transformer,让 HalfCheetah 在 Gym 环境中奔跑。
RAIL Initiative 推出、Hugging Face 支持的 OpenRAIL 是一类 AI 专用许可框架,允许免版税访问、下游使用与再分发,同时嵌入针对特定关键场景的使用限制。该许可借鉴 BigScience、开源与 Creative Commons 的做法,试图在广泛开放 ML 模型与约束有害用途之间划出界线,并赋予许可方在发现滥用时的执行能力。
Hugging Face 发布教程,介绍如何用 3Dmol.js 和 Gradio 的 HTML 组件在 Hugging Face Spaces 中可视化蛋白质结构。用户可输入 4 位 PDB 代码或上传 PDB 文件,应用会从 RCSB Protein Databank 获取结构并渲染。文章还提到可用 Molecule3D Gradio 自定义组件简化这一流程。
Hugging Face 发布教程,介绍如何用 Diffusers 库运行 Stable Diffusion 文生图模型,安装 diffusers==0.10.2 后通过 StableDiffusionPipeline.from_pretrained 加载 CompVis/stable-diffusion-v1-4 即可生成图像。
推荐理由:原文给出 Stable Diffusion 在 Diffusers 中的完整调用方式与自定义推理管线代码,可迁移到其他扩散模型。
Hugging Face 阐述了其 transformers 库在 TensorFlow 上的设计哲学:所有 TensorFlow 模型都是 Keras Model 对象,所有层都是 Keras Layer 对象,因此可直接调用 fit()、compile() 和 predict()。
Hugging Face 发布教程,讲解如何从零构建或微调 Sentence Transformers 模型。模型由预训练 Transformer(如 distilroberta-base)加池化层组成,可将变长文本映射为固定长度嵌入向量;相比直接用 BERT,语义搜索 1 万句的耗时从约 65 小时降至约 5 秒。教程还介绍了四种数据集格式与对应损失函数的选择。
Nyströmformer 通过 Nyström 方法近似标准自注意力,将时间和内存复杂度从 O(n²) 降至 O(n)。它不直接对 softmax 矩阵采样,而是从 query 和 key 中用分段均值构造 landmark,仅需 32 或 64 个 landmark 即可在 n=4096 或 8192 的长序列上取得与标准自注意力及其他高效注意力机制相当的性能。
Hugging Face 于 2022 年 6 月就美国国家 AI 研究资源(NAIRR)中期报告提交反馈,建议任命技术与伦理专家担任顾问、制定模型与数据文档标准、为非技术专家提供低代码或无代码工具,并推动开源与开放科学的高风险滥用监测。其回应还建议投入法律专业能力制定负责任 AI 许可证,并以多语言资源支持多元研究者视角,BigScience 研究工坊被列为范例。
Hugging Face 为 🤗 Datasets 补充了音频和图像数据集的文档,Quickstart 新增按模态选择数据集的端到端示例,并引入 to_tf_dataset 函数,可将数据集转换为 tf.data.Dataset 供 TensorFlow 或 Keras 训练。
Hugging Face 深度强化学习课程 Unit 7 讲解 Advantage Actor Critic(A2C),一种结合基于策略与基于价值方法的混合架构,通过 Actor 控制智能体行为、Critic 评估动作好坏来降低 Reinforce 中蒙特卡洛采样带来的高方差。课程使用 Stable-Baselines3 在 PyBullet 机器人环境中训练双足步行者和蜘蛛两个智能体行走。
Hugging Face 博客介绍动态对抗数据收集(DADC):让用户在与模型交互中构造能骗过模型的样本,再将这些对抗样本用于训练,多轮重复以提升鲁棒性。教程以 MNIST 手写数字识别为例,用 🤗 Spaces 搭建交互 demo,模型训练 20 个 epoch 后在测试集上达到 89% 准确率,并通过 flag 机制把对抗样本存入数据集再训练。
Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,可生成 46 种自然语言和 13 种编程语言的文本。该模型由 70 多个国家、250 多家机构的 1000 多名研究者协作完成,在法国 Jean Zay 超算上训练 117 天,并首次公开训练中间检查点和优化器状态。
推荐理由:BLOOM 以 176B 参数覆盖 46 种自然语言,并公开训练中间检查点,可据此了解开放大模型的训练与复现路径。
Hugging Face 发布入门指南,以 Sentence Transformers 为例讲解如何从零启动第一个 ML 项目。该库可将句子、段落和图像转为嵌入向量,并通过 util.cos_sim 计算余弦相似度,已在 GitHub 收获近 8,000 stars,超过 3,000 个项目依赖它。文中还给出选题方法:先梳理工具能力,再从 Hugging Face Hub 等渠道寻找数据。
Intel 正式加入 Hugging Face 硬件合作伙伴计划,双方将基于开源库 Optimum 共同构建面向 Transformer 训练、微调与推理的硬件加速方案。Optimum Intel 构建在 Intel Neural Compressor 之上,支持量化、剪枝与知识蒸馏,并已实现对 Habana Gaudi 加速器的支持,其性价比比 GPU 高出最多 40%。
Graphcore 与 Hugging Face 在开源库 Optimum 中新增一批适配 IPU 的 Transformer 模型,可访问模型总数达 10 个,覆盖 NLP、语音和计算机视觉,均附带 IPU 配置文件和预训练、微调权重。
Hugging Face 在 Hub 上线 pull requests 和 discussions,模型、数据集和 Spaces 三类仓库均可在 Community 标签页使用,任何社区成员都能创建和参与。
Hugging Face 推出 Fellowship 计划,面向开源机器学习生态的贡献者,由 Hugging Face 团队成员或现任 Fellow 提名,无申请截止日期。
Hugging Face 发布 Gradio 3.0,对 Gradio 库做了彻底重设计,前端改用 Svelte 等现代技术,页面体积更小、加载更快,并新增 Gallery 组件和 TabbedInterface 类。
推荐理由:Gradio 3.0 的前端重写与 Blocks 低层 API 展示了从固定布局到自定义数据流的转变,可据此判断演示搭建方式的变化。
Hugging Face 开放首届 Student Ambassador Program 申请,截止日期为 2022 年 6 月 13 日,计划于 6 月 30 日启动、12 月 31 日结束。入选学生将获得 Hugging Face 团队的工作坊与支持、同行协作网络及官方大使认证,申请者需为在读大学生、修过至少一门机器学习或数据科学课程,并使用过 Hugging Face Hub 或相关库。
Hugging Face 在 Optimum 1.2 中加入推理与 Transformers pipelines 支持,首批接入 ONNX Runtime,用户可将 AutoModelForXxx 直接替换为对应的 ORTModelForXxx。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia、Coatue 等参与,现有投资方 Addition、a_capital、SV Angel、Betaworks、AIX Ventures 等继续支持。
推荐理由:Hugging Face 官方披露 C 轮融资规模、领投方与资金用途,可了解其开源平台当时的规模与方向。
fastai 用户现在可以用一行 Python 将模型上传至 Hugging Face Hub,并通过 from_pretrained_fastai 直接加载他人模型。
Hugging Face 发布教育计划,目标到 2023 年底教会 500 万人机器学习。该计划面向所有人、初学者和教师三类人群,提供 NLP、深度强化学习、Gradio 演示构建等免费课程,以及翻译成 8 种语言的免费教学工具包,教师可在 Hub 上免费创建课堂。此前 2022 年 3 月的 ML demo.cratization 巡讲已为 16 个国家超 1000 名学生授课。
Hugging Face 机器学习工程师 Lewis Tunstall 在访谈中介绍了与 Leandro von Werra 合著的《NLP with Transformers》,并讲述了自己从 2018 年使用 pytorch-pretrained-bert 到加入 Hugging Face 的经历。