Hugging Face 如何用 TGI Benchmarking 工具评测文本生成推理

Hugging Face 发布 TGI Benchmarking 工具，可在 Hugging Face Space 中部署 TGI 并运行 CLI 基准测试，同时给出吞吐量与延迟数据。该工具随 TGI 安装，需访问服务器运行，通过预填充吞吐量-延迟散点图展示不同 batch size 下的权衡，帮助用户按需调优部署。