NanoGPT 训练纪录降至 39.9s：DevenPzak 提出 flop 级优化新范式

NanoGPT 新纪录达到 39.9s，比此前 67.6s 的纪录缩短 27.7s。该 PR 不再优化 matmul 或增加算子，而是按单个 flop 的价值决定是否跳过，包括采样 softmax、稀疏值、稀疏更新、稀疏通信与稀疏优化器状态，并手写 64 维头的 flash attention。在 8xH100 上稀疏嵌入参数扩至 65B，贡献了该 PR 25% 的收益。