如何在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B

Hugging Face 发布教程，介绍如何用 TGI 和专用深度学习容器（DLC）在 Google Cloud Vertex AI 的 A3 节点（8 张 H100 GPU）上部署 FP8 量化的 Meta Llama 3.1 405B Instruct。