Hugging Face 重构 tokenization 提速推理

2026年10月15日，Hugging Face 正重振 tokenizers 库并冲刺 v1.0.0 版本。据报道，经典 BPE 分词器的编码速度较 v0.23 提升至约 30 倍。工程师 Simon Brandeis 进一步优化 BERT 分词器，通过跳过 ASCII 归一化等手段，带来最高 50 倍提速。同日的另一篇报道称，这一优化目标是“在 v1 基础上再快约 5 倍”，与前述 50 倍提速指向不同的比较基准。Sentence Transformers 维护者 tomaarsen 转发了 Simon Brandeis 的 tokenization 重构，并整理了这一优化脉络：该重构可显著加速最常用的 Sentence Transformer 模型推理，其中静态嵌入模型的提速尤其明显。目前相关优化处于持续推进阶段，尚未见 v1.0.0 正式发布的消息。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。