跳到正文
原文
dongxi_nlp· @dongxi_nlp · X·· 2 天前AI 评分32

QLoRA:48GB显存微调65B模型

AI 导读

华盛顿大学研究团队于 2023 年发表 QLoRA,在一块 48GB 显存的 GPU 上微调 65B 模型,并报告该方法保持了 16 位全参数微调的任务表现。原文还提到用该方法训练的 Guanaco 模型与一块 GPU 有关,但该句在推文中被截断。

正文

2023 年,华盛顿大学的研究团队发表了 QLoRA。他们在一块 48GB 显存的 GPU 上微调了一个 650 亿参数(65B)的模型,并报告这种方法保持了 16 位全参数微调的任务表现。
用这种方法训练的 Guanaco 模型,在一块 GPU

来源:dongxi_nlp · x.com