Hugging Face Blog·· 2024-07-18精选AI 评分
Hugging Face TGI 推出 Multi-LoRA 服务:一次部署可服务 30 个模型
Hugging Face 为 TGI 推出 Multi-LoRA 服务,只需部署一次基础模型,即可按请求中的 adapter_id 动态调用多个 LoRA 适配器。
Hugging Face 官方给出 TGI Multi-LoRA 的部署步骤与成本数据,读者可据此评估单次部署承载多适配器的可行性。
当前提供 AI 导读,完整正文请阅读原文。
来源:Hugging Face Blog · huggingface.co