Hugging Face 论文：用离线 Top-K Logits 与融合分块 KL 损失降低 LLM 知识蒸馏成本

Hugging Face 最新论文提出两项系统改动，让 LLM 知识蒸馏成本大幅下降：先离线缓存教师模型的 top-100 logits，使教师模型无需与学生模型同时驻留显存；再用融合分块 KL 损失，避免生成完整的词表×序列长度矩阵。