Hugging Face tokenizers v1：编码、解码与实测扩展性

Hugging Face 发布 tokenizers v1 候选版，输出与 v0.23 完全一致的 token ID，但速度常快数十倍。v1 将单个 crate 拆为 workspace，用 bitcannon 以 SIMD 位流替代正则做预分词，并引入无分配 merge 循环、线程本地 word cache 和原生多线程并行。