把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark，10 月 23 日开售，起售价 4999 美元，保留 GB10 Grace Blackwell 超级芯片、DGX OS 与完整 NVIDIA AI 软件栈，支持最高 1000 亿参数模型在设备本地运行。
推荐理由：原文给出 64GB 新配置的价格、可跑模型规模与双机集群方式，便于判断本地跑智能体的硬件门槛。
OpenAI 的 GPT-6 Astra Ultrafast 已在 NVIDIA Blackwell GPU 上运行，并面向 OpenAI API 以及符合条件的 ChatGPT Work 和 Codex 用户开放。
推荐理由：OpenAI 在 NVIDIA Blackwell 上推出 Astra Ultrafast 模式，读者可了解其相对标准模式的提速幅度与开放入口。
美团 LongCat 宣布 LongCat-2.5-Preview 上线，总参数量 1.6T、激活约 48B，支持 1M token 上下文窗口，原生多模态。官方称该模型面向长周期任务，覆盖终端、浏览器、GUI、表格和设计工具等场景，现已开放 API（longcat.ai/platform/）和 Chat（longcat.ai/chat/）入口。
推荐理由：官方给出参数量、激活规模与 1M 上下文等关键规格，可据此判断它在长任务场景的定位。
微软研究院对移动机器人操作负载做系统性测量，发现把物理AI推理从机器人端侧GPU卸载到边缘或云端GPU，可提升任务成功率、支持更大模型并延长续航。
推荐理由：微软对移动操作机器人推理负载的系统性测量，给出端侧、边缘与云端算力取舍的量化依据。
Google Private AI Compute 团队公布为 Private AI Compute 平台引入私有服务端记忆，让 AI 助手在跨设备场景下保留上下文，同时维持设备端级别的隐私标准。
推荐理由：原文说明了云端持久记忆如何用设备侧密钥与安全隔区实现跨设备连续性，读者可据此理解隐私架构的取舍。
GitHub 用 GitHub Copilot app 和 Copilot CLI 把 Copilot agent runtime 从 TypeScript 完全重写为超过 80 万行生产级 Rust，AI 智能体编写了大部分代码，跨 128 个 PR 增量落地，性能提升数个数量级。
推荐理由：GitHub 工程师复盘用 Copilot 把运行时从 TypeScript 迁到 Rust 的全过程，含提示缓存、子智能体分工等可迁移的工程经验。
Unsloth 发布 GLM-5.3 的 2-bit 量化版本，体积从 1.51TB 压缩到 239GB，减少约 83%，精度保留约 81%，可在 256GB Mac 或相应 RAM/VRAM 配置上运行。
推荐理由：原文给出量化后的体积与精度保留比例，读者可据此判断本地部署 GLM-5.3 所需的硬件门槛。
Unsloth 发布 GLM-5.3-Flash 的 GGUF 量化版本，可在 128GB 内存上以 3-bit 精度本地运行，并提供了部署指南与 Hugging Face 仓库地址。
推荐理由：Unsloth 放出 GLM-5.3-Flash 的 GGUF 量化版本，并给出 128GB 内存跑 3-bit 的本地部署路径。
Qwen3.8-Flash 这个 125B MoE 模型现已可通过 Unsloth 的 GGUF 在 75GB RAM 上本地运行，Unsloth 称其性能超过 Claude-Opus-4.6 (Max)。Qwen3.8-Flash-Next 面向 CPU RAM 与统一内存配置，可提供接近 VRAM 的速度。Unsloth 已放出使用指南与 Hugging Face 上的 GGUF 文件。
推荐理由：125B MoE 模型在 75GB 内存本地运行的量化方案，为端侧部署提供了可参考的显存与内存配置路径。
Mistral 宣布三项推进 AI 主权的举措：Mistral Regional Endpoints 正式可用，客户可选择推理在欧洲或美国运行；Mistral Priority Tier 进入公开预览，为关键业务负载提供承诺服务等级、自定义速率限制和 uptime SLA。
推荐理由：Mistral 把区域推理端点、优先级服务层与第三方开源模型接入放在同一套基础设施上，读者可据此判断主权 AI 的落地路径。