adam_karvonen· @adam_karvonen · X·· 6 小时前AI 评分
Astra 消融 Qwen 权重中的循环方向
看起来 Astra 并没有原生读取 Qwen 的权重? 据我理解,Qwen 会陷入循环,无法回答问题。 Astra 使用代码执行了一些标准的可解释性技术,发现了一个循环方向,并将其从权重中消融。
看起来,Astra 并没有原生读取 Qwen 的权重?
据我理解,Qwen 会陷入循环,无法回答这个问题。
Astra 使用代码执行了一些标准的解释性分析技术,找到了一个循环方向,并将其从权重中消融掉。
来源:adam_karvonen · x.com