Hugging Face 联合 Albumentations AI 推出文档图像 TextImage 数据增强
Hugging Face 与 Albumentations AI 合作推出面向文档图像的 TextImage 数据增强管线，可同时修改图像内容与文本标注。该管线支持随机插入、删除、交换及停用词替换等文本增强，并通过黑化与 inpaint 保持文字质量，用于 VLM 微调。代码已开源，可通过 pip install albumentations 使用。
#数据/训练
#数据/训练
Hugging Face BlogAI 评分
LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评估 MPLUGDocOwl1.5 的零样本表现。
Mistral AI精选AI 评分
Mistral AI 发布 Mistral Large 2，123B 参数、128k 上下文
Mistral AI 发布 Mistral Large 2，参数规模 123B，支持 128k 上下文窗口和数十种语言，可在单节点上以较大吞吐运行。官方称其在 MMLU 上准确率达 84.0%，代码与推理表现与 GPT-4o、Claude 3 Opus、Llama 3 405B 相当，并针对减少幻觉和遵循精确指令做了训练。
推荐理由：原文给出 123B 参数、128k 上下文与多项基准对比，可据此判断单节点部署的成本与能力边界。
Llama 3.1 发布：8B、70B、405B 三尺寸，支持 128K 上下文与多语言
Meta 发布 Llama 3.1 系列，包含 8B、70B、405B 三个尺寸的 base 与 instruct 版本共六个开放权重模型，均支持 128K token 上下文和英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语 8 种语言，并新增工具调用能力。
推荐理由：Hugging Face 官方梳理了 Llama 3.1 三个尺寸的显存需求、量化方案与微调路径，可据此估算部署成本。
Hugging Face 发布 Docmatix：面向文档视觉问答的超大规模数据集
Hugging Face 发布 Docmatix，一个包含 240 万张图像、950 万问答对（源自 130 万份 PDF）的文档视觉问答数据集，规模是此前数据集的 240 倍。
如何用 distilabel 打造 Argilla 2.0 聊天机器人
这篇教程展示了如何用 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人：先从 GitHub 文档生成合成数据集并微调领域专用嵌入模型，再搭建向量数据库存储和检索文档。最终聊天机器人部署在 Hugging Face Space 上，交互记录存入 Argilla 用于持续评估与改进。
Hugging Face 发布 SmolLM 系列小模型，含 135M、360M 和 1.7B 三个尺寸
Hugging Face 发布 SmolLM 系列小语言模型，包含 135M、360M 和 1.7B 三个参数尺寸，并同步开源训练语料 SmolLM-Corpus。
推荐理由：原文公开了 SmolLM 三个尺寸的训练数据配方与评测对比，可据此判断小模型在端侧的表现边界。
NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 做两阶段微调，先学自然语言链式推理，再用 GPT-4 生成的工具集成推理数据训练模型调用 Python REPL。
推荐理由：NuminaMath 团队复盘了夺冠方案的两阶段微调、SC-TIR 解码与内部验证集设计，可供做数学推理微调的人参考。
TRL 库现已支持视觉语言模型（VLM）的 DPO 偏好优化
Hugging Face 的 TRL 库现已支持视觉语言模型（VLM）的直接偏好优化（DPO），并提供了完整训练教程。示例使用 Idefics2-8b 模型和包含超 83,000 条标注的 openbmb/RLAIF-V-Dataset 数据集，该 DPO 实现同时支持 Llava 1.5 和 PaliGemma。
Hugging Face 在 Dataset Hub 上用 Presidio 试验 PII 自动检测
Hugging Face 正在 Dataset Hub 上试验一项基于开源 PII 检测工具 Presidio 的新功能，可为数据集生成 PII 存在情况的估算报告。Presidio 依靠检测模式和机器学习模型识别 PII，报告可帮助开发者在训练前决定是否进一步过滤数据，也便于数据集所有者在上线前验证自己的 PII 过滤流程。
Hugging Face Dataset Hub 新增四项数据集搜索功能
Hugging Face 为 Dataset Hub 的数据集搜索新增按模态、大小、格式和库四项筛选功能，可按文本、图像、音频等模态及最小/最大行数过滤，超过 10B 行的数据集也能被检索到。
ProtST 蛋白质语言模型在 Intel Gaudi 2 上的推理与微调加速
Intel 与 MILA 将多模态蛋白质语言模型 ProtST 重新架构并发布在 Hugging Face Hub，借助 Optimum for Intel Gaudi 库可在 Gaudi 2 上以极少代码改动运行。
Google 发布 Gemma 2 开源大模型，Hugging Face 同步集成
Google 发布 Gemma 2 系列开源大模型，包含 9B 和 27B 两个尺寸的基座版与指令微调版共 4 个开放权重模型，上下文长度 8K tokens，采用允许商用和再分发的宽松许可。
推荐理由：梳理 Gemma 2 的滑窗注意力、软截断与蒸馏等训练细节，并给出与 Llama 3、Qwen 1.5 的基准对比。
XLSCOUT 发布 ParaEmbed 2.0：面向专利与 IP 的嵌入模型，获 Hugging Face 专家支持
XLSCOUT 发布专有嵌入模型 ParaEmbed 2.0，基于高质量多领域专利数据微调，准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Hugging Face 伦理与社会通讯 #6：构建更好的 AI，数据质量为何至关重要
Hugging Face 发布《伦理与社会通讯 #6》，聚焦高质量数据对 AI 模型的决定性作用，指出好数据不只是准确或量大，而是契合具体用途。文章以 Reddit 与 Google 的 RAG 搜索合作为例，说明低质数据曾导致“在披萨里加胶水”这类荒谬推荐。文中列出相关性、全面性、时效性与偏见缓解等数据质量维度，并强调数据治理、去重、内容过滤与人工反馈等流程。
微调 Florence-2：微软的前沿视觉语言模型
微软 6 月发布的 Florence-2 视觉语言模型仅有 0.2B 和 0.7B 两种小尺寸，却支持 captioning、目标检测、OCR 等任务，但官方发布的模型不含 VQA 能力。在 DocVQA 上微调 7 个 epoch 后，验证集 Levenshtein 相似度从 0 提升至 57.0，作者同时开源了 Colab notebook、GitHub 代码与演示 Space。
OpenAI NewsAI 评分 OpenAI 改进一致性模型的训练技术
OpenAI 提出改进的一致性模型训练技术。一致性模型是一类新兴生成模型，无需对抗训练即可一步采样出高质量数据。
Hugging Face 与 Argilla 回顾 Data Is Better Together 社区数据集共建进展
Hugging Face 与 Argilla 合作的 Data Is Better Together 计划已产出 DIBT/10k_prompts_ranked 数据集，由 385 人参与完成 1 万条合成与人工提示词的质量排序，并被用于训练 SPIN 等新模型。
Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度行为
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting，使其在混合精度下与 DeepSpeed 行为对齐。
Hugging Face TRL 推出 RLOO Trainer，把强化学习重新带回 RLHF
Hugging Face 在 TRL 中推出 RLOO（REINFORCE Leave One-Out）Trainer，作为 PPO 的在线 RLHF 替代方案。RLOO 只需加载策略、参考策略和奖励模型 3 份模型，比 PPO 少约 50-70% 显存，1B 模型上快 2 倍、6.9B 模型上快达 3 倍，响应胜率与 PPO 相当并持续优于 DPO 等离线方法。
Mistral 在 la Plateforme 推出模型定制与微调服务
Mistral AI 在 la Plateforme 上线模型定制功能，提供三个入口：开源微调代码库 mistral-finetune、平台上的无服务器微调服务，以及面向特定客户的定制训练服务。
推荐理由：Mistral 同时给出开源微调代码库与托管微调服务，读者可据此比较自建与托管两条落地路径。
Mistral AI 举办微调黑客松，推出全新微调 API
Mistral AI 于 6 月 5 日至 30 日举办线上微调黑客松，参赛项目必须使用其全新微调 API。前三名各获 2500 欧元 Mistral API 额度，入选者可申请 100 美元免费额度，需在 6 月 10 日前提交表单。评审按影响力、技术实现、创意和展示各占 25% 打分，团队最多 4 人。
如何用 Sentence Transformers 训练和微调嵌入向量模型
Hugging Face 发布博客，介绍如何用 Python 库 Sentence Transformers 微调嵌入向量模型，以提升其在特定任务上的表现，也可用于从零训练新模型。
OpenAI NewsAI 评分 ChatGPT 数据分析功能更新，支持表格图表交互与 Google Drive、Microsoft OneDrive 直接导入文件
OpenAI 更新 ChatGPT 的数据分析功能，用户现在可以与表格和图表进行交互，并直接从 Google Drive 和 Microsoft OneDrive 添加文件。
OpenAI NewsAI 评分 OpenAI 与 Reddit 达成合作，将 Reddit 内容引入 ChatGPT
OpenAI 与 Reddit 达成合作，将 Reddit 的独特内容带入 ChatGPT 及 OpenAI 旗下产品。
Hugging Face 推出 Open Arabic LLM Leaderboard，评估阿拉伯语大模型
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），专门评估和比较阿拉伯语 LLM 性能，服务全球超 3.8 亿阿拉伯语使用者。
OpenAI NewsAI 评分 OpenAI 的数据与 AI 策略：为创作者推出 Media Manager
在 ChatGPT 发布一年多后，OpenAI 阐述了其数据与 AI 策略，并面向创作者和内容所有者推出新的 Media Manager。该工具旨在应对 AI 时代的数据议题，OpenAI 同时说明了后续方向。
Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布专为希伯来语设计的开放 LLM 排行榜，填补低资源语言评测空白。榜单包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式评测。
Hugging Face 与 .txt 用结构化生成提升提示词一致性
Hugging Face 的 Leaderboards and Evals 团队发现，同一任务下仅改变提示词格式，模型得分波动可达约 10 分，Qwen1.5-7B 在 7 种提示变体下准确率从 51.2% 跌至 22.9%，且模型排名也随之改变。为此该团队与 .txt 合作，尝试用 Outlines 库的结构化生成约束输出，从输出端而非输入端减少提示词格式带来的方差。
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，全透明自对齐代码模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个完全自对齐、流程完全透明且许可宽松的代码大语言模型，仅用 StarCoder2-15B 自身生成指令-响应对进行微调，无需人工标注或从大型专有模型蒸馏数据。
Hugging Face 发布 Open Medical-LLM Leaderboard：医疗大模型基准评测
Hugging Face 推出 Open Medical-LLM Leaderboard，用统一平台评测大语言模型在医疗任务上的表现，以准确率为主要指标，覆盖 MedQA、MedMCQA、PubMedQA 及 MMLU 医学与生物学子集。
Meta 发布 Llama 3 开源大模型，Hugging Face 同步集成
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有 base 与 instruct 版本，并推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2，全部 5 个模型已上线 Hugging Face Hub。
推荐理由：Meta 发布 Llama 3 并同步接入 Hugging Face 生态，读者可了解新分词器、GQA 与 15T token 训练带来的变化。
Hugging Face 推出 LiveCodeBench 排行榜：面向代码 LLM 的无污染整体评估
Hugging Face 上线 LiveCodeBench 排行榜，基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准，按题目发布时间窗口评估代码 LLM，以检测和防止数据污染。
用 Hugging Face Dataset Viewer API 和 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
MotherDuck 与 Numbers Station 推出的 DuckDB-NSQL-7B 可从自然语言生成 DuckDB SQL，该模型基于 Meta Llama-2-7b 微调，并用 DuckDB text-to-SQL 数据对进一步优化。
OpenAI NewsAI 评分 OpenAI 与 Harvey 合作为法律从业者定制模型
Harvey 与 OpenAI 合作，为法律专业人士构建了一个定制训练的模型。
OpenAI NewsAI 评分 Zelma 用 GPT-4 让教育数据更易获取
Zelma 借助 GPT-4 让教育数据变得易于获取。
Hugging Face 详解嵌入向量二值与标量量化：检索更快更省
Hugging Face 博客介绍嵌入向量的二值（binary）与标量（int8）量化，用于降低检索的内存、磁盘占用与成本。二值量化把 float32 值转为 1-bit，内存和存储减少 32 倍，配合 rescoring 可保留约 96% 的检索性能；int8 量化缩小 4 倍，平均带来 3.66 倍检索加速，二值量化平均加速 24.76 倍。
推荐理由：原文给出二值与标量量化的实测数据与可复用脚本，读者可据此评估检索成本与性能的取舍。
Hugging Face 解读 GaLore：在消费级硬件上训练大模型
Hugging Face 博客介绍 GaLore 方法，通过将梯度投影到低秩子空间，可在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 7B 参数的 Llama 架构模型，作者报告优化器状态存储内存减少超过 82.5%。
推荐理由：原文给出 GaLore 在消费级 GPU 上训练 7B 模型的内存节省数据与 transformers 接入方式，便于评估落地成本。
Hugging Face 发布 Cosmopedia：用 Mixtral 生成 250 亿 token 合成预训练数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成预训练数据集，包含超 3000 万个文件、250 亿 token，并开源了端到端流水线代码、数据集和基于它训练的 1B 模型 cosmo-1b。
推荐理由：原文完整公开了从提示词构建到去污染的合成数据流水线，可据此复现或迁移到自有预训练数据生产。
Hugging Face 在 NVIDIA DGX Cloud 上线 Train on DGX Cloud 训练服务
Hugging Face 面向 Enterprise Hub 组织推出 Train on DGX Cloud，可在 Hub 内直接调用 NVIDIA H100 GPU 微调 Llama、Mistral、Stable Diffusion 等模型。
推荐理由：原文给出了无代码微调的具体操作路径与按分钟计费价格，读者可据此判断企业团队接入 H100 训练的成本与门槛。