Transformers v5 如何重新设计 tokenization：更简单、更清晰、更模块化

Transformers v5 重新设计了 tokenizer 的工作方式，将 tokenizer 架构与训练好的词表分离，类似 PyTorch 把网络结构与学习到的权重分开。新设计带来更清晰的内部结构、干净的类层级和单一快速后端，让 tokenizer 可检查、可定制、可从零训练。