跳到正文

#Hugging Face

今日 2 条
4月4日周四
4月3日周三
4月2日周二
3月22日周五
  1. Hugging Face Blog62

    Hugging Face 详解嵌入向量二值与标量量化:检索更快更省

    Hugging Face 博客介绍嵌入向量的二值(binary)与标量(int8)量化,用于降低检索的内存、磁盘占用与成本。二值量化把 float32 值转为 1-bit,内存和存储减少 32 倍,配合 rescoring 可保留约 96% 的检索性能;int8 量化缩小 4 倍,平均带来 3.66 倍检索加速,二值量化平均加速 24.76 倍。

    推荐理由:原文给出二值与标量量化的实测数据与可复用脚本,读者可据此评估检索成本与性能的取舍。

3月21日周四
3月20日周三
  1. Hugging Face Blog60

    Hugging Face 解读 GaLore:在消费级硬件上训练大模型

    Hugging Face 博客介绍 GaLore 方法,通过将梯度投影到低秩子空间,可在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 7B 参数的 Llama 架构模型,作者报告优化器状态存储内存减少超过 82.5%。

    推荐理由:原文给出 GaLore 在消费级 GPU 上训练 7B 模型的内存节省数据与 transformers 接入方式,便于评估落地成本。

  2. Hugging Face Blog62

    Hugging Face 发布 Cosmopedia:用 Mixtral 生成 250 亿 token 合成预训练数据

    Hugging Face 发布 Cosmopedia,一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成预训练数据集,包含超 3000 万个文件、250 亿 token,并开源了端到端流水线代码、数据集和基于它训练的 1B 模型 cosmo-1b。

    推荐理由:原文完整公开了从提示词构建到去污染的合成数据流水线,可据此复现或迁移到自有预训练数据生产。

3月18日周一
3月15日周五
  1. Hugging Face Blog41

    Hugging Face 发布 WebSight 数据集,用截图生成 HTML 代码

    Hugging Face 推出 WebSight 数据集,用于训练 AI 将网页截图转换为 HTML 代码。该数据集从 v0.1 的 82.3 万对 HTML 与截图样本扩展至 v0.2 的 200 万例,改用真实图像截图并切换至 Tailwind CSS。基于该数据集微调的视觉语言模型 Sightseer 可将网页截图转为可用的 HTML 代码,并能在生成结果中嵌入与原截图相近的图像。

3月5日周二
3月4日周一
2月29日周四
2月28日周三
2月27日周二
2月26日周一
  1. Hugging Face Blog33

    Hugging Face 详解 AI 水印:工具与技术

    Hugging Face 发布 AI 水印入门指南,介绍在生成时嵌入与生成后添加两类水印方法,并盘点 Hub 上的相关工具。文中还涉及 Glaze、Photoguard、Nightshade、Fawkes 等图像防篡改与数据投毒工具,以及 Truepic 基于 C2PA 标准的内容签名方案。文章同时讨论了水印器与检测器开放或闭源各自的利弊。

2月21日周三
1月14日周日
12月11日周一
9月27日周三
9月6日周三
8月22日周二
8月8日周二
8月1日周二
7月18日周二
6月15日周四
6月5日周一
5月15日周一
5月4日周四
4月5日周三
3月9日周四
3月3日周五
12月1日周四
11月7日周一
  1. Hugging Face Blog62

    用 Diffusers 和 Dreambooth 训练 Stable Diffusion 的实验与调参建议

    Hugging Face 发布用 Diffusers 的 Dreambooth 脚本微调 Stable Diffusion 的实验总结,指出 Dreambooth 容易过拟合,需要在训练步数和学习率之间找平衡,建议先用低学习率再逐步增加步数。

    推荐理由:Hugging Face 基于多组对照实验给出 Dreambooth 微调 Stable Diffusion 的学习率、步数与先验保留建议,可直接迁移到自己的训练配置。

11月3日周四
11月2日周三