AntLingAGI· @AntLingAGI · X·· 3 小时前AI 评分
蚂蚁百灵 Ling-3.0-flash 单卡推理优化
我们与 @NVIDIAAI 团队开展技术协作，采用三种技术，在单台 NVIDIA DGX Spark 上优化了开放权重模型 Ling-3.0-flash 的推理。 在 1,319 道 GSM8K 题上，解码吞吐量提升 42.5%——从 37.81 增至 53.89 tok/s——同时平均延迟下降 24.5%，从 15.21s 降至 11.49s，准确率无统计学可检测的变化。 🧵
我们与 @NVIDIAAI 团队展开技术协作，通过三种技术，在单台 NVIDIA DGX Spark 上优化了开放权重模型 Ling-3.0-flash 的推理性能。
在 1,319 道 GSM8K 题目上，解码吞吐量提高了 42.5%，从 37.81 tok/s 提升至 53.89 tok/s；平均延迟降低了 24.5%，从 15.21s 降至 11.49s，且准确率变化在统计学上无法检测到。🧵
来源：AntLingAGI · x.com