跳到正文

#部署/工程

今日 0 条
2月9日周一
2月4日周三
  1. Google Research35

    Google Research 提出 Sequential Attention:让 AI 模型更小更快且不牺牲精度

    Google Research 提出 Sequential Attention,用贪心选择机制在单次训练中顺序、自适应地挑选最佳组件,把子集选择直接整合进模型训练,避免传统贪心算法带来的数量级训练开销。该方法在多个神经网络基准上取得 SOTA,并实现快速单遍贪心选择,可用于特征选择、嵌入维度调优和权重剪枝,兼顾效率、精度、可解释性与可扩展性。

1月27日周二
1月22日周四
  1. Mistral AI37

    堆内存会说谎:排查 vLLM 内存泄漏

    Mistral AI 团队在 vLLM 上排查一起内存泄漏,问题只在 Mistral Medium 3.1、开启图编译的 Prefill/Decode 分离部署中出现,系统内存以每分钟 400 MB 线性增长,数小时后触发 out of memory。Memray、Guppy 3 均未发现泄漏,Heaptrack 显示堆内存稳定但峰值 RSS 存在差异,说明泄漏发生在堆之外。

1月20日周二
  1. Hugging Face Blog66

    Overworld 发布实时交互视频扩散模型 Waypoint-1

    Overworld 发布实时交互式视频扩散模型 Waypoint-1,可通过文本、鼠标和键盘控制,权重已上传 Hugging Face Hub,先开放 Waypoint-1-Small,Medium 版本即将推出。

    推荐理由:Waypoint-1 把实时交互式视频扩散模型和推理库一并开源,读者可据此了解世界模型从控制输入到消费级硬件落地的路径。

1月15日周四
1月9日周五
1月5日周一
12月17日周三
12月11日周四
12月5日周五
12月1日周一
11月26日周三
11月25日周二
  1. Hugging Face Blog29

    从第一性原理理解 continuous batching

    Hugging Face 发布博客,从注意力机制与 KV 缓存出发,推导出 continuous batching 这一推理优化技术。该方法通过并行处理多个对话、完成即换出,来最大化高负载场景下的吞吐量。文中指出注意力是 token 间唯一交互之处,其计算量随序列长度呈平方增长。

  2. Hugging Face Blog41

    Tavily 如何打造达到 SOTA 的 Deep Research 智能体

    Tavily 分享了构建 SOTA 深度研究智能体的经验:七个月前其第一版架构因假设过于复杂,在下一代模型到来时成为瓶颈,团队被迫推倒重建。新方案简化编排逻辑、强调自主性,并借助 Tavily Advanced Search 在工具侧完成上下文工程,只返回最相关内容块以降低模型幻觉与延迟。团队还提出将工具输出蒸馏为反思、仅在生成最终交付物时注入原始信息,以模拟人类研究方式管理上下文窗口。

11月22日周六
  1. Google Research20

    Google 如何用简单 AI 模型预测电动车充电桩可用性

    Google 设计了一个基于线性回归的轻量模型,预测某充电站在未来若干分钟后仍有空闲充电桩的概率,用于将充电站纳入 EV 导航路线以缓解续航焦虑。该模型仅以一天中的小时作为特征,在 30 至 60 分钟预测窗口、至少 6 个充电桩的站点上,表现优于"保持当前状态"这一强基线,主要靠识别高占用周转的少数关键时刻。

11月20日周四
11月19日周三
  1. Mistral AI38

    Mistral AI 与 SAP、Helsing 达成合作,推进德国主权 AI 布局

    Mistral AI 宣布与 SAP 建立多年合作,为德国和欧洲提供完全主权的 AI 技术栈,将其模型集成进 SAP 的 AI Foundation,并联合开发面向复杂行业与政府机构的定制方案。同时与 Helsing 合作加速面向国防与安全应用的视觉-语言-动作模型研发。Mistral AI 还将大幅扩充德国本地团队,并于未来数月内在德国开设办公室。

11月17日周一
11月13日周四
11月12日周三
  1. Google Research39

    Google 发布 JAX-Privacy 1.0:面向大规模机器学习的差分隐私工具库

    Google 发布 JAX-Privacy 1.0,这是构建在 JAX 之上、用于大规模机器学习差分隐私训练的模块化工具库。新版本集成最新 DP 算法研究成果,支持 DP-SGD、DP-FTRL 及 DP matrix factorization 等方法,并借助 JAX 的 vmap、shard_map 实现数据与模型并行,可在多加速器和超算上训练大模型。

11月5日周三
  1. Google Research60

    Google 发布 Project Suncatcher 预印本,探索太空 AI 基础设施设计

    Google 公布研究项目 Project Suncatcher,设想由太阳能卫星组成星座、搭载 Google TPU 并通过自由空间光链路互联,以在太空扩展 AI 算力。

    推荐理由:Google 公开了太空 AI 基础设施的预印本,给出卫星互联、轨道与 TPU 抗辐射的实测数据,可了解这一设想的技术边界。

11月3日周一
10月29日周三
  1. Hugging Face Blog62

    Hugging Face 分析全球算力格局变迁:中国国产芯片与开源模型的双向推动

    Hugging Face 发布分析文章,指出中国开源权重模型的推理已开始由华为昇腾、寒武纪等国产芯片承载,部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关,芯片稀缺也促使 DeepSeek 的 MLA、GRPO 等算力效率创新走向开源。

    推荐理由:梳理中国算力从被限制到自建全栈的路径,帮助读者理解开源模型与国产芯片如何互相推动。

10月27日周一
  1. Hugging Face Blog60

    huggingface_hub v1.0 发布:迁移到 httpx 与 hf_xet,CLI 全面重写

    Hugging Face 发布 huggingface_hub v1.0,这是该库五年来的首个大版本,带来多项破坏性变更。主要变化包括底层从 requests 迁移到 httpx、文件传输全面改用 hf_xet 取代 hf_transfer,以及用基于 Typer 的 hf CLI 替换已弃用的 huggingface-cli。

    推荐理由:官方梳理了 huggingface_hub v1.0 的破坏性变更与迁移路径,可据此评估自家依赖库的升级成本。

10月24日周五
10月16日周四
10月15日周三
10月13日周一
  1. OpenAI News62

    OpenAI 与 Broadcom 达成战略合作,将部署 10 吉瓦 OpenAI 自研 AI 加速器

    OpenAI 与 Broadcom 宣布多年期战略合作,将部署 10 吉瓦 OpenAI 设计的 AI 加速器。双方将共同开发下一代系统与以太网方案,目标是在 2029 年前支撑可扩展、高能效的 AI 基础设施。

    推荐理由:OpenAI 与 Broadcom 的多年合作给出了 10 吉瓦自研加速器的部署规模与 2029 年时间点,可据此观察其算力自研路线。

10月11日周六
10月6日周一
10月2日周四
9月29日周一
9月23日周二
  1. OpenAI News62

    OpenAI、Oracle 与 SoftBank 为 Stargate 新增五个 AI 数据中心站点

    OpenAI、Oracle 和 SoftBank 宣布为 Stargate 新增五个 AI 数据中心站点,推进一项 500B 美元、10 吉瓦的美国基础设施扩建,用于支撑下一代 AI 并创造数万个就业岗位。

    推荐理由:OpenAI、Oracle 与 SoftBank 公布 Stargate 五个新站点,读者可了解这笔 5000 亿美元、10 吉瓦级美国算力基建的推进节奏。

9月22日周一
9月19日周五