跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 21–40 条 · 共 71 条
6月26日周五
6月23日周二
  1. Mistral AI62

    Mistral 发布 OCR 4,支持边界框、块分类与置信度分数

    Mistral 发布 OCR 4,在提取文本之外新增边界框、块类型分类和逐页逐词置信度分数,支持 170 种语言,可单容器自托管部署。该模型在 OlmOCRBench 上取得 85.20 分,OmniDocBench 上为 93.07 分,官方称独立标注者在 600 多份文档的盲评中平均偏好率约 72%。

    推荐理由:OCR 4 把文档解析从纯文本扩展到带边界框和块分类的结构化输出,读者可据此判断它是否适合接入现有 RAG 或智能体流程。

  2. Hugging Face Blog62

    Hugging Face 如何用 AI 与开源工具每周发布 huggingface_hub

    Hugging Face 把 huggingface_hub 的发布周期从每 4 到 6 周一次改为每周一次,整套流程跑在单个 GitHub Actions workflow 上,由 OpenCode 驱动开源权重模型(当前为 Z.ai 的 GLM-5.2)起草 release notes 和 Slack 公告。

    推荐理由:原文公开了每周发版的完整工作流与 trust-but-verify 校验循环,可迁移到其他 Python 库的发布流程。

6月22日周一
6月2日周二
  1. Hugging Face Blog71

    H Company 发布 Holo3.1 系列 Computer Use Agent 模型

    H Company 发布 Holo3.1 系列 Computer Use Agent 模型,基于 Qwen 家族,覆盖 0.8B、4B、9B 和 35B-A3B 四种尺寸,并首次提供 FP8、Q4 GGUF 和 NVFP4 量化权重。

    推荐理由:原文给出跨环境、跨框架与本地量化部署的具体数据,可据此判断端侧 Computer Use Agent 的落地条件。

6月1日周一
  1. Hugging Face Blog60

    JetBrains 发布 12B MoE 模型 Mellum2,Apache 2.0 开源

    JetBrains 发布 Mellum2,一个从零训练、覆盖自然语言与代码的 12B 参数 MoE 模型,每个 token 仅激活 2.5B 参数,以 Apache 2.0 许可开源。官方称其在相近规模模型中基准表现有竞争力,推理速度超过 2 倍,可用于路由、RAG、摘要、子智能体和高吞吐编码场景。模型已在 Hugging Face 提供下载,技术报告发布在 arXiv(2605.31268)。

    推荐理由:JetBrains 开源 12B MoE 模型,每 token 仅激活 2.5B 参数,读者可据此判断它在多模型系统中的定位。

5月28日周四
  1. Mistral AI62

    Mistral 发布工业工程 AI 栈与 Vibe 智能体,并宣布法国 10 MW 推理数据中心

    Mistral 在 AI Now Summit 2026 上发布面向工业工程的集成 AI 栈,结合物理模型、工程经验与机器人技术,合作方包括 Airbus、BMW 和 ASML,用于加速设计、消除仿真瓶颈并优化资产性能。

    推荐理由:Mistral 把工业工程 AI 栈、Vibe 智能体和自建推理数据中心放在一起发布,可看其企业级全栈布局。

5月27日周三
  1. Hugging Face Blog66

    Hugging Face 在 TRL 中实现增量权重同步,异步 RL 每步传输量降至 20-35MB

    Hugging Face 在 TRL 中落地了增量权重同步(Delta Weight Sync):只把两次 RL 优化步之间真正变化的 bf16 权重编码成稀疏 safetensors 文件,上传到 Hugging Face Bucket,再由 vLLM 拉取应用。

    推荐理由:TRL 的稀疏增量权重同步把异步 RL 每步传输量压到原来的百分之几,读者可据此判断跨集群训练的成本边界。

4月28日周二
4月27日周一
  1. Mistral AI62

    Mistral AI 发布 Workflows 公开预览版

    Mistral AI 发布企业 AI 编排层 Workflows 公开预览版,提供持久化执行、可观测性和容错能力,ASML、ABANCA、CMA-CGM、France Travail、La Banque Postale、Moeve 等客户已用它自动化关键流程。

    推荐理由:原文给出 Workflows 的编排能力、部署模型与已落地客户案例,读者可据此判断企业级 AI 流程如何从概念验证走向生产。

4月22日周三
4月15日周三
3月18日周三
  1. Mistral AI62

    Mistral AI 推出 Forge,让企业用自有知识训练前沿模型

    Mistral AI 推出 Forge,一个让企业基于专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 支持 dense 与 MoE 两种架构,并可按需支持多模态输入,模型可在企业自有基础设施内训练和治理。

    推荐理由:原文给出了企业用自有数据训练前沿模型的分阶段能力与多架构支持,读者可据此判断自建模型的落地路径。

3月17日周二
3月11日周三
3月10日周二
2月18日周三
  1. Hugging Face Blog63

    Hugging Face 介绍 Gradio gr.HTML 单文件构建任意 Web 应用

    Hugging Face 博客介绍 Gradio 6 中 gr.HTML 的新能力,支持自定义模板、作用域 CSS 和 JavaScript 交互,可在单个 Python 文件中完成前端、后端与状态管理,无需构建步骤即可部署到 Hugging Face Spaces。

    推荐理由:原文给出 gr.HTML 的模板、状态同步与子类化写法,读者可据此把自定义组件直接接入现有 Gradio 流程。

2月13日周五
  1. Hugging Face Blog62

    Hugging Face 发布 CUDA 内核 Agent Skill,Claude 与 Codex 为 LTX-Video 和 Qwen3-8B 生成内核

    Hugging Face 发布 cuda-kernels Agent Skill,让 Claude、Codex 等编码智能体为 diffusers 和 transformers 项目编写生产级 CUDA 内核,并生成 PyTorch 绑定与基准脚本。

    推荐理由:原文给出可安装的 CUDA 内核技能与完整基准数据,读者可据此判断智能体写内核的可行边界。

2月9日周一