Hugging Face 发布 tokenizers v1

2026年9月30日，Hugging Face 团队发布 tokenizers v1，并撰文详解这次重构。团队表示，新版本在很多场景下比 v0.23 快数十倍，此次重构的重点是把 encode/decode 与扩展性都做到可度量。公开报道目前只覆盖了性能提升幅度与重构目标，未涉及更详细的版本计划或兼容性说明，后续进展有待更多信息披露。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。