HuggingPapers· @HuggingPapers · X·· 2 天前AI 评分
腾讯发布STEPQuant量化框架
腾讯研究人员刚刚在 Hugging Face 上发布了 STEPQuant。 一个面向 Delta-rule 循环状态的时空后训练量化框架,用 6-bit 状态即可匹配 FP32 精度,同时将总服务内存削减最多 68.7%。
腾讯研究人员刚刚在 Hugging Face 上发布了 STEPQuant
一个针对 Delta 规则循环状态的时空后训练量化框架,在使用 6 位状态的情况下达到与 FP32 相当的精度,同时将总服务内存最多削减 68.7%
来源:HuggingPapers · x.com