X：面壁智能 OpenBMB (@OpenBMB)· @GenAI_is_real·· 13 天前AI 评分
SGLang Omni 中的批大小之争：性能验证与调度权衡
RT by @OpenBMB: A Batch Size Debate: Performance Validation and Scheduling Trade-offs in SGLang Omni
面壁智能 OpenBMB 分享 SGLang Omni 中关于批大小的讨论，聚焦性能验证与调度权衡。此前在《Revisiting CPU Resources as a First-Class Citizen in Speech Model Serving》一文中已指出，同一 commit 的吞吐量会因宿主机资源争用而出现显著变化。
来源：X：面壁智能 OpenBMB (@OpenBMB) · x.lingyaoai.com