跳到正文

#开源生态

今日 2 条
8月22日周一
  1. Hugging Face Blog62

    如何用 Diffusers 运行 Stable Diffusion 并自定义推理管线

    Hugging Face 发布教程,介绍如何用 Diffusers 库运行 Stable Diffusion 文生图模型,安装 diffusers==0.10.2 后通过 StableDiffusionPipeline.from_pretrained 加载 CompVis/stable-diffusion-v1-4 即可生成图像。

    推荐理由:原文给出 Stable Diffusion 在 Diffusers 中的完整调用方式与自定义推理管线代码,可迁移到其他扩散模型。

8月12日周五
8月10日周三
  1. Hugging Face Blog22

    如何训练和微调 Sentence Transformers 模型

    Hugging Face 发布教程,讲解如何从零构建或微调 Sentence Transformers 模型。模型由预训练 Transformer(如 distilroberta-base)加池化层组成,可将变长文本映射为固定长度嵌入向量;相比直接用 BERT,语义搜索 1 万句的耗时从约 65 小时降至约 5 秒。教程还介绍了四种数据集格式与对应损失函数的选择。

8月2日周二
  1. Hugging Face Blog26

    Nyströmformer:用 Nyström 方法以线性时间和内存近似自注意力

    Nyströmformer 通过 Nyström 方法近似标准自注意力,将时间和内存复杂度从 O(n²) 降至 O(n)。它不直接对 softmax 矩阵采样,而是从 query 和 key 中用分段均值构造 landmark,仅需 32 或 64 个 landmark 即可在 n=4096 或 8192 的长序列上取得与标准自注意力及其他高效注意力机制相当的性能。

8月1日周一
  1. Hugging Face Blog12

    Hugging Face 就美国国家 AI 研究资源(NAIRR)中期报告提交建议

    Hugging Face 于 2022 年 6 月就美国国家 AI 研究资源(NAIRR)中期报告提交反馈,建议任命技术与伦理专家担任顾问、制定模型与数据文档标准、为非技术专家提供低代码或无代码工具,并推动开源与开放科学的高风险滥用监测。其回应还建议投入法律专业能力制定负责任 AI 许可证,并以多语言资源支持多元研究者视角,BigScience 研究工坊被列为范例。

7月28日周四
7月22日周五
  1. Hugging Face Blog22

    Hugging Face 深度强化学习课程:Advantage Actor Critic (A2C)

    Hugging Face 深度强化学习课程 Unit 7 讲解 Advantage Actor Critic(A2C),一种结合基于策略与基于价值方法的混合架构,通过 Actor 控制智能体行为、Critic 评估动作好坏来降低 Reinforce 中蒙特卡洛采样带来的高方差。课程使用 Stable-Baselines3 在 PyBullet 机器人环境中训练双足步行者和蜘蛛两个智能体行走。

7月16日周六
  1. Hugging Face Blog30

    如何用对抗数据动态训练你的模型

    Hugging Face 博客介绍动态对抗数据收集(DADC):让用户在与模型交互中构造能骗过模型的样本,再将这些对抗样本用于训练,多轮重复以提升鲁棒性。教程以 MNIST 手写数字识别为例,用 🤗 Spaces 搭建交互 demo,模型训练 20 个 epoch 后在测试集上达到 89% 准确率,并通过 flag 机制把对抗样本存入数据集再训练。

7月12日周二
  1. Hugging Face Blog78

    Hugging Face 发布 176B 参数开放多语言模型 BLOOM

    Hugging Face 发布 BLOOM,一个 176B 参数的多语言大语言模型,可生成 46 种自然语言和 13 种编程语言的文本。该模型由 70 多个国家、250 多家机构的 1000 多名研究者协作完成,在法国 Jean Zay 超算上训练 117 天,并首次公开训练中间检查点和优化器状态。

    推荐理由:BLOOM 以 176B 参数覆盖 46 种自然语言,并公开训练中间检查点,可据此了解开放大模型的训练与复现路径。

6月29日周三
  1. Hugging Face Blog22

    如何用 Sentence Transformers 开启你的第一个机器学习项目

    Hugging Face 发布入门指南,以 Sentence Transformers 为例讲解如何从零启动第一个 ML 项目。该库可将句子、段落和图像转为嵌入向量,并通过 util.cos_sim 计算余弦相似度,已在 GitHub 收获近 8,000 stars,超过 3,000 个项目依赖它。文中还给出选题方法:先梳理工具能力,再从 Hugging Face Hub 等渠道寻找数据。

6月15日周三
  1. Hugging Face Blog40

    Intel 与 Hugging Face 合作,通过 Optimum Intel 加速 Transformer 硬件

    Intel 正式加入 Hugging Face 硬件合作伙伴计划,双方将基于开源库 Optimum 共同构建面向 Transformer 训练、微调与推理的硬件加速方案。Optimum Intel 构建在 Intel Neural Compressor 之上,支持量化、剪枝与知识蒸馏,并已实现对 Habana Gaudi 加速器的支持,其性价比比 GPU 高出最多 40%。

5月26日周四
5月25日周三
5月17日周二
5月16日周一
  1. Hugging Face Blog62

    Gradio 3.0 发布,推出 Blocks 低层 API 与全新前端

    Hugging Face 发布 Gradio 3.0,对 Gradio 库做了彻底重设计,前端改用 Svelte 等现代技术,页面体积更小、加载更快,并新增 Gallery 组件和 TabbedInterface 类。

    推荐理由:Gradio 3.0 的前端重写与 Blocks 低层 API 展示了从固定布局到自定义数据流的转变,可据此判断演示搭建方式的变化。

5月13日周五
  1. Hugging Face Blog8

    Hugging Face 首届学生大使计划开放申请

    Hugging Face 开放首届 Student Ambassador Program 申请,截止日期为 2022 年 6 月 13 日,计划于 6 月 30 日启动、12 月 31 日结束。入选学生将获得 Hugging Face 团队的工作坊与支持、同行协作网络及官方大使认证,申请者需为在读大学生、修过至少一门机器学习或数据科学课程,并使用过 Hugging Face Hub 或相关库。

5月10日周二
5月9日周一
5月6日周五
4月25日周一
  1. Hugging Face Blog20

    Hugging Face 推出教育计划:目标 2023 年底教会 500 万人机器学习

    Hugging Face 发布教育计划,目标到 2023 年底教会 500 万人机器学习。该计划面向所有人、初学者和教师三类人群,提供 NLP、深度强化学习、Gradio 演示构建等免费课程,以及翻译成 8 种语言的免费教学工具包,教师可在 Hub 上免费创建课堂。此前 2022 年 3 月的 ML demo.cratization 巡讲已为 16 个国家超 1000 名学生授课。

4月13日周三
4月5日周二
  1. Hugging Face Blog22

    Hugging Face 为何在 Transformers 中放弃 DRY 原则

    Hugging Face 的 Transformers 库有意不遵循 DRY 原则,转而采用“单模型文件”策略:模型前向传播所需的全部代码只放在一个模型文件中,注意力机制代码因此被复制到 50 多个模型文件里。官方给出的理由包括该库由开源社区共建、建模代码本身就是产品、机器学习领域演进极快,以及模型发布后基本不再改动。

3月22日周二
3月16日周三
  1. Hugging Face Blog22

    用 🤗 datasets 实现图像搜索

    Hugging Face 的 🤗 datasets 现已支持图像特征类型,可结合 sentence_transformers 和 faiss 为图像数据集构建相似度搜索应用。文中以英国图书馆数字化书籍插图数据集为例,通过 ImageFolder 加载器直接载入含 image 和 label 特征的 10000 行数据,并利用 datasets 内置的 faiss 索引能力实现图像检索。

2月1日周二
  1. Hugging Face Blog40

    如何在 🤗 Transformers 中用 Wav2Vec2 对超大文件做自动语音识别

    Hugging Face 博客介绍了利用 Wav2Vec2 的 CTC 架构特性,通过带 stride 的重叠分块推理,让 ASR 在任意长音频上也能保持高质量识别。只需在 pipeline 中设置 chunk_length_s 和 stride_length_s,即可避免直接处理长文件时的显存溢出,该技巧同样适用于 LM 增强的 Wav2Vec2 模型,并可用于实时推理。

1月21日周五
1月12日周三
12月21日周二
  1. Hugging Face Blog62

    Gradio 加入 Hugging Face,创始人回顾从 2019 年至今的历程

    Hugging Face 收购机器学习初创公司 Gradio,Gradio 创始人以当事方身份宣布了这一消息。Gradio 于 2019 年由斯坦福博士生 Abubakar Abid 与室友 Ali Abdalla、Ali Abid、Dawood Khan 发布首版,从计算机视觉扩展到文本、语音和视频,至今已有超过 30 万个 demo 用它构建。

    推荐理由:Gradio 创始人以当事方身份讲述被 Hugging Face 收购的经过,并回顾了这款开源库从 2019 年起步到 30 万 demo 的历程。

12月8日周三
5月10日周一
4月30日周四
  1. OpenAI News70

    OpenAI 发布音乐生成神经网络 Jukebox 并开源模型权重与代码

    OpenAI 推出 Jukebox,一个能生成音乐的神经网络,可输出多种流派和艺术家风格的原始音频,并包含初步的歌唱。OpenAI 同时发布了模型权重和代码,以及一个用于探索生成样本的工具。

    推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可了解这套音乐生成神经网络的能力边界与开放程度。

11月8日周四
7月9日周一
5月24日周三
5月15日周一