BLOOM 推理优化实录：延迟降低 5 倍、吞吐提升 50 倍

Hugging Face 分享了 BLOOM（176B 参数、bf16 下 352GB）推理服务的优化过程，数周内将延迟降低 5 倍、吞吐提升 50 倍。