jtdavies· @jtdavies · X·· 12 小时前AI 评分
某模型获大幅升级：1m 上下文与更快推理实测
作者称某模型迎来重大升级，速度更快、kv-pool 显著增大、上下文最高达 1m，并提到 MiaAI_lab 的 TensorFold recipe 快 20%。作者实测 400k 上下文下达到 56 tok/s（YaRN x2），并计划当晚测试 1m 上下文。
这好得离谱，是一次重大升级！
速度非常快，KV 池显著增大，上下文最高可达 100 万。（@MiaAI_lab 的 TensorFold 方案还要快 20%）。
认知能力看起来相当出色。
我已经用 40 万上下文测过，速度 56 tok/s（YaRN x2），今晚会测到 100 万。
来源：jtdavies · x.com