跳到正文
原文
HuggingPapers· @HuggingPapers · X·· 2 天前AI 评分34

腾讯发布STEPQuant量化框架

AI 导读

腾讯研究人员刚刚在 Hugging Face 上发布了 STEPQuant。 一个面向 Delta-rule 循环状态的时空后训练量化框架,用 6-bit 状态即可匹配 FP32 精度,同时将总服务内存削减最多 68.7%。

正文 · AI 翻译

腾讯研究人员刚刚在 Hugging Face 上发布了 STEPQuant

一个针对 Delta 规则循环状态的时空后训练量化框架,在使用 6 位状态的情况下达到与 FP32 相当的精度,同时将总服务内存最多削减 68.7%

来源:HuggingPapers · x.com