跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 41–60 条 · 共 71 条
1月20日周二
  1. Hugging Face Blog66

    Overworld 发布实时交互视频扩散模型 Waypoint-1

    Overworld 发布实时交互式视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,权重已上传 Hugging Face Hub,先开放 Waypoint-1-Small,Medium 版本即将推出。

    推荐理由:Waypoint-1 把实时交互式视频扩散模型和推理库一并开源,读者可据此了解世界模型从控制输入到消费级硬件落地的路径。

12月17日周三
12月11日周四
12月1日周一
11月5日周三
  1. Google Research60

    Google 发布 Project Suncatcher 预印本,探索太空 AI 基础设施设计

    Google 公布研究项目 Project Suncatcher,设想由太阳能卫星组成星座、搭载 Google TPU 并通过自由空间光链路互联,以在太空扩展 AI 算力。

    推荐理由:Google 公开了太空 AI 基础设施的预印本,给出卫星互联、轨道与 TPU 抗辐射的实测数据,可了解这一设想的技术边界。

11月3日周一
10月29日周三
  1. Hugging Face Blog62

    Hugging Face 分析全球算力格局变迁:中国国产芯片与开源模型的双向推动

    Hugging Face 发布分析文章,指出中国开源权重模型的推理已开始由华为昇腾、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关,芯片稀缺也促使 DeepSeek 的 MLA、GRPO 等算力效率创新走向开源。

    推荐理由:梳理中国算力从被限制到自建全栈的路径,帮助读者理解开源模型与国产芯片如何互相推动。

10月27日周一
  1. Hugging Face Blog60

    huggingface_hub v1.0 发布:迁移到 httpx 与 hf_xet,CLI 全面重写

    Hugging Face 发布 huggingface_hub v1.0,这是该库五年来的首个大版本,带来多项破坏性变更。主要变化包括底层从 requests 迁移到 httpx、文件传输全面改用 hf_xet 取代 hf_transfer,以及用基于 Typer 的 hf CLI 替换已弃用的 huggingface-cli。

    推荐理由:官方梳理了 huggingface_hub v1.0 的破坏性变更与迁移路径,可据此评估自家依赖库的升级成本。

10月24日周五
10月13日周一
  1. OpenAI News62

    OpenAI 与 Broadcom 达成战略合作,将部署 10 吉瓦 OpenAI 自研 AI 加速器

    OpenAI 与 Broadcom 宣布多年期战略合作,将部署 10 吉瓦 OpenAI 设计的 AI 加速器。双方将共同开发下一代系统与以太网方案,目标是在 2029 年前支撑可扩展、高能效的 AI 基础设施。

    推荐理由:OpenAI 与 Broadcom 的多年合作给出了 10 吉瓦自研加速器的部署规模与 2029 年时间点,可据此观察其算力自研路线。

10月6日周一
9月23日周二
  1. OpenAI News62

    OpenAI、Oracle 与 SoftBank 为 Stargate 新增五个 AI 数据中心站点

    OpenAI、Oracle 和 SoftBank 宣布为 Stargate 新增五个 AI 数据中心站点,推进一项 500B 美元、10 吉瓦的美国基础设施扩建,用于支撑下一代 AI 并创造数万个就业岗位。

    推荐理由:OpenAI、Oracle 与 SoftBank 公布 Stargate 五个新站点,读者可了解这笔 5000 亿美元、10 吉瓦级美国算力基建的推进节奏。

9月22日周一
7月22日周二
  1. OpenAI News62

    OpenAI 与 Oracle 达成协议,新增 4.5 GW Stargate 数据中心容量

    OpenAI 与 Oracle 达成协议,将在美国开发 4.5 GW 的额外 Stargate 数据中心容量。OpenAI 称这笔投资将创造就业、加速美国再工业化,并推动美国在 AI 领域的领先地位,同时是 Stargate 这一 AI 基础设施平台的重要里程碑。

    推荐理由:OpenAI 与 Oracle 新增 4.5 GW Stargate 数据中心容量的协议,可了解其美国 AI 基础设施布局的规模。

6月11日周三
6月4日周三
  1. Mistral AI60

    Mistral 推出企业级编码助手 Mistral Code,开启 JetBrains 与 VSCode 私测

    Mistral 发布企业级 AI 编码助手 Mistral Code,将模型、IDE 插件、本地部署选项和企业工具打包为一体化方案,基于开源项目 Continue 构建,今日面向 JetBrains IDE 和 VSCode 开放私测,正式版计划随后推出。

    推荐理由:Mistral 把编码模型、IDE 插件与企业管控打包成可本地部署的方案,读者可据此判断企业级编码助手的落地路径。

5月22日周四
5月7日周三
  1. Mistral AI62

    Mistral AI 推出 Le Chat Enterprise,由 Mistral Medium 3 驱动

    Mistral AI 发布 Le Chat Enterprise,一款由全新 Mistral Medium 3 模型驱动的企业级 AI 助手,包含企业搜索、Agent 构建器、自定义数据与工具连接器、文档库、自定义模型和混合部署等功能,全部功能将在未来两周内陆续上线。

    推荐理由:官方披露了 Le Chat Enterprise 的功能清单与部署选项,可据此判断企业级 AI 助手的集成与私有化路径。

3月7日周五
  1. Mistral AI76

    Mistral AI 发布文档理解 API Mistral OCR

    Mistral AI 发布光学字符识别 API Mistral OCR,可接收图片和 PDF,按顺序交错输出文本与图像,并已作为 Le Chat 文档理解的默认模型。

    推荐理由:官方给出 Mistral OCR 的定价、基准对比与自托管选项,可据此判断多模态文档解析在 RAG 流程中的落地成本。