跳到正文

端侧 AI

跑在手机、电脑与边缘设备上的 AI:小模型、本地推理与端侧芯片的进展。

最新精选

第 1–5 条 · 共 5 条
10月2日周五
  1. NVIDIA Blog62

    NVIDIA DGX Spark 推出 64GB 版本,10 月 23 日开售 4999 美元起

    NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark,10 月 23 日开售,起售价 4999 美元,保留 GB10 Grace Blackwell 超级芯片、DGX OS 与完整 NVIDIA AI 软件栈,支持最高 1000 亿参数模型在设备本地运行。

    推荐理由:原文给出 64GB 新配置的价格、可跑模型规模与双机集群方式,便于判断本地跑智能体的硬件门槛。

9月23日周三
8月29日周六
8月27日周四
  1. X:Unsloth (@UnslothAI)66

    Qwen3.8-Flash 通过 Unsloth GGUF 实现 75GB 内存本地运行

    Qwen3.8-Flash 这个 125B MoE 模型现已可通过 Unsloth 的 GGUF 在 75GB RAM 上本地运行,Unsloth 称其性能超过 Claude-Opus-4.6 (Max)。Qwen3.8-Flash-Next 面向 CPU RAM 与统一内存配置,可提供接近 VRAM 的速度。Unsloth 已放出使用指南与 Hugging Face 上的 GGUF 文件。

    推荐理由:125B MoE 模型在 75GB 内存本地运行的量化方案,为端侧部署提供了可参考的显存与内存配置路径。