ggml 入门指南：面向 Transformer 推理的 C/C++ 机器学习库
Hugging Face 发布 ggml 入门指南，介绍这个用 C/C++ 编写、专注 Transformer 推理的开源 ML 库。ggml 核心库自包含在不到 5 个文件中，编译后二进制小于 1MB，支持 x86_64、ARM、Apple Silicon、CUDA 等硬件及量化张量。ollama、LM Studio、GPT4All 等项目均基于 ggml 实现端侧 LLM。
#教程/实践
#教程/实践
Hugging Face BlogAI 评分
Hugging Face 联合 Albumentations AI 推出文档图像 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出面向文档图像的 TextImage 数据增强管线，可同时修改图像内容与文本标注。该管线支持随机插入、删除、交换及停用词替换等文本增强，并通过黑化与 inpaint 保持文字质量，用于 VLM 微调。代码已开源，可通过 pip install albumentations 使用。
用 Quanto 和 Diffusers 实现内存高效的 Diffusion Transformer
Hugging Face 展示了如何借助 Diffusers 库中的 Quanto 量化工具降低 Transformer 扩散模型的内存占用。以 PixArt-Sigma、Stable Diffusion 3 和 Aura Flow 为例，将扩散主干与文本编码器量化为 FP8 后，SD3 推理显存从 16.403 GB 降至 8.204 GB，质量几乎无损但延迟略有上升。
Hugging Face 教程：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 发布教程，介绍如何借助 WWDC 24 的新 Core ML 特性在 Mac 上运行 Mistral 7B，并用 4-bit 分块量化把模型压到约 3.8G，低于 float16 转换的 14G。
如何用 distilabel 打造 Argilla 2.0 聊天机器人
这篇教程展示了如何用 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人：先从 GitHub 文档生成合成数据集并微调领域专用嵌入模型，再搭建向量数据库存储和检索文档。最终聊天机器人部署在 Hugging Face Space 上，交互记录存入 Argilla 用于持续评估与改进。
NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 做两阶段微调，先学自然语言链式推理，再用 GPT-4 生成的工具集成推理数据训练模型调用 Python REPL。
推荐理由：NuminaMath 团队复盘了夺冠方案的两阶段微调、SC-TIR 解码与内部验证集设计，可供做数学推理微调的人参考。
TRL 库现已支持视觉语言模型（VLM）的 DPO 偏好优化
Hugging Face 的 TRL 库现已支持视觉语言模型（VLM）的直接偏好优化（DPO），并提供了完整训练教程。示例使用 Idefics2-8b 模型和包含超 83,000 条标注的 openbmb/RLAIF-V-Dataset 数据集，该 DPO 实现同时支持 Llava 1.5 和 PaliGemma。
ProtST 蛋白质语言模型在 Intel Gaudi 2 上的推理与微调加速
Intel 与 MILA 将多模态蛋白质语言模型 ProtST 重新架构并发布在 Hugging Face Hub，借助 Optimum for Intel Gaudi 库可在 Gaudi 2 上以极少代码改动运行。
微调 Florence-2：微软的前沿视觉语言模型
微软 6 月发布的 Florence-2 视觉语言模型仅有 0.2B 和 0.7B 两种小尺寸，却支持 captioning、目标检测、OCR 等任务，但官方发布的模型不含 VQA 能力。在 DocVQA 上微调 7 个 epoch 后，验证集 Levenshtein 相似度从 0 提升至 57.0，作者同时开源了 Colab notebook、GitHub 代码与演示 Space。
Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度行为
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐。
Hugging Face TRL 推出 RLOO Trainer，把强化学习重新带回 RLHF
Hugging Face 在 TRL 中推出 RLOO（REINFORCE Leave One-Out）Trainer，作为 PPO 的在线 RLHF 替代方案。RLOO 只需加载策略、参考策略和奖励模型 3 份模型，比 PPO 少约 50-70% 显存，1B 模型上快 2 倍、6.9B 模型上快达 3 倍，响应胜率与 PPO 相当并持续优于 DPO 等离线方法。
Hugging Face 为何要重新设计 Transformers 文档
Hugging Face 正在重新设计 Transformers 文档，原因是新内容不断增量叠加，导致文档体验割裂、难导航且过时。改版将面向用 AI 构建产品的开发者，采用代码优先、解决方案导向的写法，并以灵活结构取代 Diátaxis 的刚性框架，让内容整合而非追加。
Hugging Face 为 Intel Gaudi 提供更快的辅助生成支持
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，通过草稿模型生成 K 个 token 再由目标模型评估，对大型 Transformer 模型通常可带来约 2x 加速。
Hugging Face 如何用 TGI Benchmarking 工具评测文本生成推理
Hugging Face 发布 TGI Benchmarking 工具，可在 Hugging Face Space 中部署 TGI 并运行 CLI 基准测试，同时给出吞吐量与延迟数据。该工具随 TGI 安装，需访问服务器运行，通过预填充吞吐量-延迟散点图展示不同 batch size 下的权衡，帮助用户按需调优部署。
如何用 Sentence Transformers 训练和微调嵌入向量模型
Hugging Face 发布博客，介绍如何用 Python 库 Sentence Transformers 微调嵌入向量模型，以提升其在特定任务上的表现，也可用于从零训练新模型。
如何用 Intel Gaudi 2 和 Intel Xeon 构建高性价比企业级 RAG 应用
Intel 在 OPEA 平台下展示了用 Gaudi 2 AI 加速器和 Xeon CPU 构建企业级 RAG 应用的方案，LLM 跑在 Gaudi 2 上、嵌入模型跑在 Granite Rapids CPU 上。
Hugging Face Inference Endpoints 如何用自定义 handler 实现 Whisper ASR + 说话人分离 + 推测解码
Hugging Face Inference Endpoints 通过自定义 inference handler，把 Whisper ASR、Pyannote 说话人分离和推测解码组合在单个 API 端点中。
Hugging Face 与 .txt 用结构化生成提升提示词一致性
Hugging Face 的 Leaderboards and Evals 团队发现，同一任务下仅改变提示词格式，模型得分波动可达约 10 分，Qwen1.5-7B 在 7 种提示变体下准确率从 51.2% 跌至 22.9%，且模型排名也随之改变。为此该团队与 .txt 合作，尝试用 Outlines 库的结构化生成约束输出，从输出端而非输入端减少提示词格式带来的方差。
Zama 在 Hugging Face Endpoints 上运行隐私保护推理
Zama 将 Concrete ML 预编译模型部署到 Hugging Face Endpoints，通过自定义 inference handler 实现一键部署，用户可直接在加密数据上运行 FHE 推理而无需解密。
用 Gradio 的 reload 模式快速构建 AI 应用
Gradio 推出 reload 模式，用 `gradio app.py` 替代 `python app.py` 启动应用，即可在不重启服务器的情况下拉取源码最新改动。
视觉语言模型（VLM）解析：开源模型、评测基准与 trl 微调指南
Hugging Face 发布视觉语言模型入门指南，梳理了 LLaVA 1.6、CogVLM、Qwen-VL、Fuyu-8B、KOSMOS-2 等开源 VLM 的模型规模、图像分辨率与 grounding 等能力，并介绍 Vision Arena、Open VLM Leaderboard 及 MMMU、MMBench 等评测基准。
用 Hugging Face Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出的 DuckDB-NSQL-7B 可从自然语言生成 DuckDB SQL，该模型基于 Meta Llama-2-7b 微调，并用 DuckDB text-to-SQL 数据对进一步优化。
在 Xeon 上用 🤗 Optimum Intel 实现极速 SetFit 推理
借助 🤗 Optimum Intel 对 SetFit 模型做训练后静态量化，可在 Intel Xeon CPU 上把推理速度提升 7.8 倍，实现生产级部署。
Pollen Robotics 开源 pollen-vision：面向机器人零样本视觉模型的统一接口
Pollen Robotics 开源 pollen-vision 库，为机器人提供零样本视觉模型统一接口，首个版本聚焦 3D 物体检测，通过 OWL-ViT、Mobile SAM 和 RAM 组合输出物体在 3D 空间中的 (x, y, z) 坐标。
Hugging Face 详解嵌入向量二值与标量量化：检索更快更省
Hugging Face 博客介绍嵌入向量的二值（binary）与标量（int8）量化，用于降低检索的内存、磁盘占用与成本。二值量化把 float32 值转为 1-bit，内存和存储减少 32 倍，配合 rescoring 可保留约 96% 的检索性能；int8 量化缩小 4 倍，平均带来 3.66 倍检索加速，二值量化平均加速 24.76 倍。
推荐理由：原文给出二值与标量量化的实测数据与可复用脚本，读者可据此评估检索成本与性能的取舍。
Hugging Face Transformers 完全新手入门指南
Hugging Face 发布面向非技术人群的 Transformers 入门指南，无需 Python 基础即可理解开源机器学习基础。教程以在 Hugging Face Space 的 JupyterLab notebook 中运行微软 Phi-2 LLM 为例，需租用 NVIDIA A10G Small GPU（24GB 显存，每小时几美元）。
在 Intel Meteor Lake 笔记本上运行 Phi-2 聊天机器人
Hugging Face 用 Optimum Intel 集成 Intel OpenVINO，对微软 2.7B 参数的 Phi-2 模型做 4-bit 权重量化，在搭载 Core Ultra 7 155H 的中端笔记本上实现本地推理。该方案利用 Meteor Lake 的 CPU、iGPU 与 NPU 加速，带来隐私、低延迟、离线、低成本等本地 LLM 优势。
用 Optimum Intel 与 fastRAG 在 CPU 上优化嵌入模型
Hugging Face 博客介绍如何借助 Optimum Intel 与 fastRAG，在基于 Xeon 的 CPU 上加速 BGE 等嵌入模型并接入现有 RAG 流程。
在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 发布教程，展示如何用 Optimum Habana 的自定义 pipeline 类在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列模型（7b、13b、70b）进行文本生成。
Hugging Face 详解 AI 水印：工具与技术
Hugging Face 发布 AI 水印入门指南，介绍在生成时嵌入与生成后添加两类水印方法，并盘点 Hub 上的相关工具。文中还涉及 Glaze、Photoguard、Nightshade、Fawkes 等图像防篡改与数据投毒工具，以及 Truepic 基于 C2PA 标准的内容签名方案。文章同时讨论了水印器与检测器开放或闭源各自的利弊。
在 Hugging Face Spaces 上用 Gradio 免费运行 ComfyUI 工作流
Hugging Face 发布教程，介绍如何在 Hugging Face Spaces 上借助 Gradio 免费运行 ComfyUI 工作流。
OpenAI NewsAI 评分 OpenAI 发布 ChatGPT 教学指南
OpenAI 发布面向教师的 ChatGPT 课堂使用指南，包含推荐提示词、ChatGPT 工作原理与局限说明、AI 检测工具的有效性以及偏见问题。
OpenAI NewsAI 评分 OpenAI 如何用 GPT-4 做内容审核
OpenAI 将 GPT-4 用于内容政策制定和内容审核决策，实现更一致的标注、更快的政策优化反馈循环，并减少人工审核员的参与。
在 iPhone、iPad 和 Mac 上用 Core ML 加速 Stable Diffusion
Hugging Face 博客发布文章，介绍如何在 iPhone、iPad 和 Mac 上通过 Core ML 加速 Stable Diffusion。原文正文抓取失败，仅标题可用。
Hugging Face 介绍 RWKV：兼具 Transformer 优势的 RNN
Hugging Face 发布博客介绍 RWKV，将其描述为一种兼具 Transformer 优势的 RNN。原文正文未能抓取，仅标题可用。
StackLLaMA：用 RLHF 训练 LLaMA 的实操指南
Hugging Face 发布 StackLLaMA 实操指南，介绍如何用 RLHF 训练 LLaMA。
在 24GB 消费级 GPU 上用 RLHF 微调 20B 大语言模型
Hugging Face 博客介绍如何在 24GB 消费级 GPU 上通过 RLHF 微调 20B 大语言模型。
在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
Hugging Face 博客发布教程，介绍如何在 Apple Silicon 上通过 Core ML 使用 Stable Diffusion。原文正文抓取失败，仅标题可用。
用 Diffusers 和 Dreambooth 训练 Stable Diffusion 的实验与调参建议
Hugging Face 发布用 Diffusers 的 Dreambooth 脚本微调 Stable Diffusion 的实验总结，指出 Dreambooth 容易过拟合，需要在训练步数和学习率之间找平衡，建议先用低学习率再逐步增加步数。
推荐理由：Hugging Face 基于多组对照实验给出 Dreambooth 微调 Stable Diffusion 的学习率、步数与先验保留建议，可直接迁移到自己的训练配置。
用 🤗 Transformers 微调 Whisper 实现多语言 ASR
Hugging Face 发布教程，讲解如何用 🤗 Transformers 对 Whisper 进行微调，以适配任意多语言 ASR 数据集。Whisper 由 OpenAI 于 2022 年 9 月发布，基于 68 万小时标注音频预训练，覆盖 96 种以上语言，并提供 tiny 到 large-v3 共 11 个 checkpoint。