dongxi_nlp· @dongxi_nlp · X·· 2 天前AI 评分
LoRA 与 QLoRA 的三个基本概念
马东锡 NLP 的后训练文章系列第三篇讲解 LoRA 和 QLoRA 的三个基本概念。分别是 rank（秩）、low-rank approximation（低秩近似）和 quantization（量化）。作者指出三者可由同一概念串联：矩阵中的 pattern 模式。
后训练文章系列第三篇，关于 LoRA 和 QLoRA
三个重要的基本概念：
rank 秩
low-rank approximation 低秩近似
quantization 量化
它们可以用同一个概念串起来，即矩阵中的 pattern模式。
来源：dongxi_nlp · x.com