跳到正文
原文
perplexity_ai· @perplexity_ai · X·· 5 天前AI 评分32

JOLT 后训练方法以 6.5x 更少 token 匹配 GRPO

AI 导读

新研究:我们开发了 JOLT,一种后训练方法,其中同一个模型同时充当教师和学生,教师经过训练,能够给出学生可以利用的反馈。 在 MATH 上,它以少 6.5 倍的训练 token 达到了与 GRPO 相同的准确率。 perplexity.ai/hub/blog/a-goo…

正文 · 原文

New research: We developed JOLT, a post-training method where one model acts as both teacher and student, with the teacher trained to give feedback the student can use.

On MATH, it matched GRPO's accuracy with 6.5x fewer training tokens.

perplexity.ai/hub/blog/a-goo…

来源:perplexity_ai · x.com