如何用 distilabel 打造 Argilla 2.0 聊天机器人
这篇教程展示了如何用 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人:先从 GitHub 文档生成合成数据集并微调领域专用嵌入模型,再搭建向量数据库存储和检索文档。最终聊天机器人部署在 Hugging Face Space 上,交互记录存入 Argilla 用于持续评估与改进。
这篇教程展示了如何用 distilabel 为 Argilla 2.0 构建能理解技术文档的聊天机器人:先从 GitHub 文档生成合成数据集并微调领域专用嵌入模型,再搭建向量数据库存储和检索文档。最终聊天机器人部署在 Hugging Face Space 上,交互记录存入 Argilla 用于持续评估与改进。
Hugging Face 发布 SmolLM 系列小语言模型,包含 135M、360M 和 1.7B 三个参数尺寸,并同步开源训练语料 SmolLM-Corpus。
推荐理由:原文公开了 SmolLM 三个尺寸的训练数据配方与评测对比,可据此判断小模型在端侧的表现边界。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖,在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 做两阶段微调,先学自然语言链式推理,再用 GPT-4 生成的工具集成推理数据训练模型调用 Python REPL。
推荐理由:NuminaMath 团队复盘了夺冠方案的两阶段微调、SC-TIR 解码与内部验证集设计,可供做数学推理微调的人参考。
Hugging Face 的 TRL 库现已支持视觉语言模型(VLM)的直接偏好优化(DPO),并提供了完整训练教程。示例使用 Idefics2-8b 模型和包含超 83,000 条标注的 openbmb/RLAIF-V-Dataset 数据集,该 DPO 实现同时支持 Llava 1.5 和 PaliGemma。
Hugging Face 正在 Dataset Hub 上试验一项基于开源 PII 检测工具 Presidio 的新功能,可为数据集生成 PII 存在情况的估算报告。Presidio 依靠检测模式和机器学习模型识别 PII,报告可帮助开发者在训练前决定是否进一步过滤数据,也便于数据集所有者在上线前验证自己的 PII 过滤流程。
Hugging Face 与 KerasHub 实现共享模型保存格式,Hub 上 30 万+ Transformers 模型现可直接加载进 KerasHub,首批支持 Gemma 1/2、Llama 3 和 PaliGemma。
Banque des Territoires、Polyconseil 与 Hugging Face 合作,为法国 EduRénov 校园生态改造计划搭建基于 RAG 的主权数据方案,项目第一阶段已完成。
Hugging Face 宣布 Google Cloud TPU v5e 正式上线 Inference Endpoints 和 Spaces,提供 v5litepod-1(1 核 16 GB,$1.375/小时)、v5litepod-4(4 核 64 GB,$5.50/小时)和 v5litepod-8(8 核 128 GB,$11.00/小时)三种配置。
Hugging Face 为 Dataset Hub 的数据集搜索新增按模态、大小、格式和库四项筛选功能,可按文本、图像、音频等模态及最小/最大行数过滤,超过 10B 行的数据集也能被检索到。
Intel 与 MILA 将多模态蛋白质语言模型 ProtST 重新架构并发布在 Hugging Face Hub,借助 Optimum for Intel Gaudi 库可在 Gaudi 2 上以极少代码改动运行。
Hugging Face 用 Transformers Agents 构建的 Code Agent 在 GAIA 基准验证集上取得 44.2%,排名第一,比第二名高 4 分;测试集得分 33.3%,排名第二,并在 Level 3 难题上取得最佳平均分。
推荐理由:原文公开了 Code Agent 在 GAIA 上的完整实现细节与得分,可据此了解代码动作相对 动作的取舍。
Google 发布 Gemma 2 系列开源大模型,包含 9B 和 27B 两个尺寸的基座版与指令微调版共 4 个开放权重模型,上下文长度 8K tokens,采用允许商用和再分发的宽松许可。
推荐理由:梳理 Gemma 2 的滑窗注意力、软截断与蒸馏等训练细节,并给出与 Llama 3、Qwen 1.5 的基准对比。
XLSCOUT 发布专有嵌入模型 ParaEmbed 2.0,基于高质量多领域专利数据微调,准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Hugging Face 发布《伦理与社会通讯 #6》,聚焦高质量数据对 AI 模型的决定性作用,指出好数据不只是准确或量大,而是契合具体用途。文章以 Reddit 与 Google 的 RAG 搜索合作为例,说明低质数据曾导致“在披萨里加胶水”这类荒谬推荐。文中列出相关性、全面性、时效性与偏见缓解等数据质量维度,并强调数据治理、去重、内容过滤与人工反馈等流程。
Hugging Face 与 Argilla 合作的 Data Is Better Together 计划已产出 DIBT/10k_prompts_ranked 数据集,由 385 人参与完成 1 万条合成与人工提示词的质量排序,并被用于训练 SPIN 等新模型。
Prezi 加入 Hugging Face Expert Support Program,将更小更高效的开源模型整合进其 ML 工作流,用于 Prezi AI 演示文稿生成。
Hugging Face 发布 BigCodeBench,一个面向大语言模型代码生成的新基准,包含 1,140 个函数级任务,需调用来自 139 个库的多个函数,每项任务平均含 5.6 个测试用例、分支覆盖率平均 99%。
Hugging Face Accelerate 在 0.30.0 版本中为 FSDP 加入自动 upcasting,使其在混合精度下与 DeepSpeed 行为对齐。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)已在 Hugging Face Hub 发布,并可通过 Diffusers 调用,官方同时提供 DreamBooth 与 LoRA 训练脚本。
推荐理由:原文给出 SD3 Medium 的架构变化与 Diffusers 集成细节,读者可据此判断显存占用与推理速度的取舍。
Hugging Face 在 TRL 中推出 RLOO(REINFORCE Leave One-Out)Trainer,作为 PPO 的在线 RLHF 替代方案。RLOO 只需加载策略、参考策略和奖励模型 3 份模型,比 PPO 少约 50-70% 显存,1B 模型上快 2 倍、6.9B 模型上快达 3 倍,响应胜率与 PPO 相当并持续优于 DPO 等离线方法。
Hugging Face Embedding Container for Amazon SageMaker 正式 GA,AWS 用户可在 SageMaker 上部署嵌入模型构建 RAG 等生成式 AI 应用。
Hugging Face 正在重新设计 Transformers 文档,原因是新内容不断增量叠加,导致文档体验割裂、难导航且过时。改版将面向用 AI 构建产品的开发者,采用代码优先、解决方案导向的写法,并以灵活结构取代 Diátaxis 的刚性框架,让内容整合而非追加。
Artificial Analysis 推出文生图排行榜与 Image Arena,基于超 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Hugging Face 上线 NPC-Playground,一个由 Cubzh 和 Gigax 打造的 3D 演示,让用户在浏览器中与 LLM 驱动的 NPC 互动,并用几行 Lua 脚本教它们新技能。
Hugging Face 将辅助生成(Assisted Generation)适配并优化到 Intel Gaudi,现已集成进 Optimum Habana。该方法基于 Speculative Sampling,通过草稿模型生成 K 个 token 再由目标模型评估,对大型 Transformer 模型通常可带来约 2x 加速。
Mistral AI 发布首个代码模型 Codestral,这是一个 22B 的开源权重生成式模型,专门面向代码生成任务,支持 80+ 编程语言,包括 Python、Java、C、C++、JavaScript 和 Bash。
推荐理由:Mistral 首个代码模型给出了 22B 参数、32k 上下文与多语言基准对比,可据此判断其代码补全定位。
Hugging Face 发布 TGI Benchmarking 工具,可在 Hugging Face Space 中部署 TGI 并运行 CLI 基准测试,同时给出吞吐量与延迟数据。该工具随 TGI 安装,需访问服务器运行,通过预填充吞吐量-延迟散点图展示不同 batch size 下的权衡,帮助用户按需调优部署。
Hugging Face 发布博客,介绍如何用 Python 库 Sentence Transformers 微调嵌入向量模型,以提升其在特定任务上的表现,也可用于从零训练新模型。
TII 发布第二代 Falcon 2 模型,包括 11B 基础 LLM 和具备图像理解能力的 11B VLM,LLM 训练数据超过 5000B tokens,覆盖英语及另外十种语言。
推荐理由:TII 公布 Falcon 2 的 11B LLM 与 VLM 训练细节和评测数据,可对照同尺寸开源模型看性能与许可条件。
Hugging Face 将 AWS Inferentia2 部署能力扩展到 Hub 上超 10 万个公开模型,新增 14 种模型架构和 6 类机器学习任务,并支持在 Amazon SageMaker 上部署。
Hugging Face 宣布 AMD Instinct MI300 GPU 已在 Hugging Face 平台获得一等公民级集成,用户无需改动代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 虚拟机上部署模型。
Hugging Face 与微软在 Microsoft Build 上宣布深化战略合作,将 Llama 3、Mistral 7B、Command R Plus、Qwen 1.5 110B 等热门开源模型加入 Azure 模型目录的 Hugging Face Collection,支持一键部署。
Hugging Face Spaces 上线 Dev Mode,支持一键从 VS Code 或 SSH 直连 Space,开发者无需再用 git 推送本地改动即可编辑代码。该功能目前处于 beta 阶段,仅面向 PRO 订阅用户开放,编辑后点击 Space 中的 Refresh 即可测试,满意后再 commit 和 merge 持久化。
Hugging Face 与 Dell 联合发布 Dell Enterprise Hub,让企业在 Dell 平台上本地训练和部署开源模型,将原本数周的工程工作缩短至几分钟。
Hugging Face 在 Transformers 中新增 KV Cache 量化功能,通过降低 KV 缓存精度减少长上下文生成的内存占用,对生成质量影响很小。
Hugging Face 与 LangChain 联合发布合作包 langchain-huggingface,可通过 pip install langchain-huggingface 安装。
Hugging Face 发布 Open Arabic LLM Leaderboard(OALL),专门评估和比较阿拉伯语 LLM 性能,服务全球超 3.8 亿阿拉伯语使用者。
Google 发布视觉语言模型家族 PaliGemma,由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成,可输入图像和文本并输出文本。
推荐理由:原文给出 PaliGemma 的架构、三种 checkpoint 与微调代码,读者可据此判断它适合哪些视觉语言任务。
Hugging Face 发布 Transformers Agents 2.0,在原有 agent 类型之上新增两种可基于历史观察迭代的 agent,并加入社区 agent 分享功能。
推荐理由:官方披露了 Agents 2.0 的模块化设计与 GAIA 榜单成绩,读者可据此判断开源智能体框架的可用边界。
Hugging Face 现已支持通过 AWS 账户将组织升级至 Enterprise Hub,订阅入口在 AWS Marketplace,定价与 Hugging Face 公开价格一致,但账单由 AWS 账户结算。