跳到正文

全部动态

今日 6 条
3月22日周五
  1. Hugging Face Blog62

    Hugging Face 详解嵌入向量二值与标量量化:检索更快更省

    Hugging Face 博客介绍嵌入向量的二值(binary)与标量(int8)量化,用于降低检索的内存、磁盘占用与成本。二值量化把 float32 值转为 1-bit,内存和存储减少 32 倍,配合 rescoring 可保留约 96% 的检索性能;int8 量化缩小 4 倍,平均带来 3.66 倍检索加速,二值量化平均加速 24.76 倍。

    推荐理由:原文给出二值与标量量化的实测数据与可复用脚本,读者可据此评估检索成本与性能的取舍。

3月21日周四
3月20日周三
  1. Hugging Face Blog60

    Hugging Face 解读 GaLore:在消费级硬件上训练大模型

    Hugging Face 博客介绍 GaLore 方法,通过将梯度投影到低秩子空间,可在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 7B 参数的 Llama 架构模型,作者报告优化器状态存储内存减少超过 82.5%。

    推荐理由:原文给出 GaLore 在消费级 GPU 上训练 7B 模型的内存节省数据与 transformers 接入方式,便于评估落地成本。

  2. Hugging Face Blog62

    Hugging Face 发布 Cosmopedia:用 Mixtral 生成 250 亿 token 合成预训练数据

    Hugging Face 发布 Cosmopedia,一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成预训练数据集,包含超 3000 万个文件、250 亿 token,并开源了端到端流水线代码、数据集和基于它训练的 1B 模型 cosmo-1b。

    推荐理由:原文完整公开了从提示词构建到去污染的合成数据流水线,可据此复现或迁移到自有预训练数据生产。

3月18日周一
3月15日周五
  1. Hugging Face Blog41

    Hugging Face 发布 WebSight 数据集,用截图生成 HTML 代码

    Hugging Face 推出 WebSight 数据集,用于训练 AI 将网页截图转换为 HTML 代码。该数据集从 v0.1 的 82.3 万对 HTML 与截图样本扩展至 v0.2 的 200 万例,改用真实图像截图并切换至 Tailwind CSS。基于该数据集微调的视觉语言模型 Sightseer 可将网页截图转为可用的 HTML 代码,并能在生成结果中嵌入与原截图相近的图像。

3月13日周三
3月8日周五
3月6日周三
3月5日周二
3月4日周一
2月29日周四
2月28日周三
2月27日周二
2月26日周一
  1. Mistral AI62

    Mistral AI 发布对话助手 le Chat 及企业版 le Chat Enterprise

    Mistral AI 发布对话助手 le Chat Mistral,作为与 Mistral 各模型交互的对话入口,底层可调用 Mistral Large、Mistral Small 或原型模型 Mistral Next。同时推出面向企业的 le Chat Enterprise,支持自部署和细粒度审核机制,le Chat 目前以 beta 形式开放注册,暂不能联网,可能给出不准确或过时信息。

    推荐理由:Mistral 官方给出对话助手的模型选择、企业自部署与审核机制,可据此判断其产品定位。

  2. Hugging Face Blog33

    Hugging Face 详解 AI 水印:工具与技术

    Hugging Face 发布 AI 水印入门指南,介绍在生成时嵌入与生成后添加两类水印方法,并盘点 Hub 上的相关工具。文中还涉及 Glaze、Photoguard、Nightshade、Fawkes 等图像防篡改与数据投毒工具,以及 Truepic 基于 C2PA 标准的内容签名方案。文章同时讨论了水印器与检测器开放或闭源各自的利弊。

2月21日周三
2月15日周四
  1. OpenAI News88

    OpenAI 研究:视频生成模型可作为世界模拟器

    OpenAI 探索在视频数据上大规模训练生成模型,将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像,并采用在视频和图像潜码时空 patch 上运行的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,结果提示扩展视频生成模型是构建通用物理世界模拟器的一条可行路径。

    推荐理由:OpenAI 公开了视频生成模型的训练思路,读者可了解扩散模型与 Transformer 如何被用于构建物理世界模拟器。

2月14日周三
2月13日周二
1月31日周三
1月25日周四
1月16日周二
1月15日周一
1月14日周日
1月12日周五