AntLingAGI· @AntLingAGI · X·· 4 小时前AI 评分
蚂蚁百灵 Ling-3.0-flash 单卡推理优化
我们与 @NVIDIAAI 团队开展技术协作，采用三种技术，在单台 NVIDIA DGX Spark 上优化了开放权重模型 Ling-3.0-flash 的推理。 在 1,319 道 GSM8K 题上，解码吞吐量提升 42.5%——从 37.81 增至 53.89 tok/s——同时平均延迟下降 24.5%，从 15.21s 降至 11.49s，准确率无统计学可检测的变化。 🧵
In technical collaboration with the @NVIDIAAI team, we optimized inference for the open-weight Ling-3.0-flash model on a single NVIDIA DGX Spark using three techniques.
Across 1,319 GSM8K questions, decode throughput increased 42.5%—from 37.81 to 53.89 tok/s—while mean latency fell 24.5%, from 15.21s to 11.49s, with no statistically detectable accuracy change. 🧵
来源：AntLingAGI · x.com