Hugging Face Blog·· 2024-03-20精选AI 评分
Hugging Face 解读 GaLore：在消费级硬件上训练大模型
GaLore: Advancing Large Model Training on Consumer-grade Hardware
Hugging Face 博客介绍 GaLore 方法，通过将梯度投影到低秩子空间，可在 NVIDIA RTX 4090 等消费级 GPU 上训练最高 7B 参数的 Llama 架构模型，作者报告优化器状态存储内存减少超过 82.5%。
原文给出 GaLore 在消费级 GPU 上训练 7B 模型的内存节省数据与 transformers 接入方式，便于评估落地成本。
来源：Hugging Face Blog · huggingface.co