General Compute 将 prefill 与 decode 分配到不同芯片提供单一端点

把预填充和解码拆分到不同的芯片上，是当前推理领域最合理的思路之一。

@general_compute 在 GPU 上执行提示词读取，把逐 token 的生成交给 @positron_ai 的内存优先系统，然后把两者打包成一个端点出售。

也就是说，预填充在 GPU 上运行，解码在 Positron 硬件上运行，让客户通过一个端点完成跨越两种芯片类型的请求。

这些芯片专注于内存速度（AI 生成文本时的真正瓶颈），而非原始算力，从而更快、更便宜地写出 AI 回答。

这种拆分符合物理规律。预填充是大规模并行计算任务，解码则主要是芯片在等待从内存中取出权重和缓存以生成每个新 token。单一芯片至少必须在其中一项上做出妥协。

Positron 专为第二项任务打造，且不依赖 HBM——也就是所有 GPU 都在争夺的内存。

从客户角度看，仍然是一份合同、一套 SLA。由哪种芯片处理哪个阶段，是 General Compute 的问题。