Hugging Face Tokenizers 持续提速，BERT 分词器再快 5 倍

Hugging Face 正重振 tokenizers 库并冲刺 v1.0.0，经典 BPE 分词器编码速度较 v0.23 提升至约 30 倍。工程师 Simon Brandeis 进一步优化 BERT 分词器，通过跳过 ASCII 归一化等手段带来最高 50 倍提速。tomaarsen 整理这一优化脉络，目标是在 v1 基础上再快约 5 倍。