HuggingPapers· @HuggingPapers · X·· 4 小时前AI 评分
NVIDIA 发布 Nemotron 3.5 Bolt 投机解码草稿模型
NVIDIA 刚刚在 Hugging Face 上发布了 Nemotron 3.5 Bolt 的 LiLiCorr 投机解码草稿模型。 它与 74B 目标模型配对，可接受更长的 token 块并更快地提供服务，同时目标模型会验证每个 token。
NVIDIA just released a LiLiCorr speculative decoding draft for Nemotron 3.5 Bolt on Hugging Face
It pairs with the 74B target to accept longer token blocks and serve faster, while the target verifies every token.
来源：HuggingPapers · x.com