SubQ Snap 决策模型以 660ms 处理 100K token 上下文

决策模型值得比现在更多的关注。

看看 @subquadratic 的 SubQ Snap 的延迟数据

10 万 token 是 660 毫秒，38.4 万 token 是 2.5 秒。输入量扩大 3.84 倍，耗时约 3.8 倍，这正是线性扩展的表现。而采用标准的二次注意力机制，仅注意力开销在这一区间就会增长约 15 倍。

正是这种扩展能力，让决策模型能在一次调用中处理 38.4 万 token 的代码、文档、日志和截图，而大多数模型止步于 3.2 万到 6.4 万 token，还得让你自己分块。

每百万输入 token 0.05 美元，输出免费。

现有的许多决策模型，大多只是短上下文工具。3.2 万 token 足够给工单分类，却不足以对照整个代码库来评估一处改动。

现在情况变了。