Hugging Face Blog·· 15 天前精选AI 评分62
Hugging Face 发布 tokenizers v1 候选版，单线程编码较 v0.23 快 3 到 30 倍
tokenizers v1: encode, decode and scaling, measured
AI 导读
Hugging Face 发布 tokenizers v1 候选版，在 Apple M4 Max 单线程上编码速度是 v0.23 的 3 到 30 倍，八个线程下达到线性扩展的 76%。
推荐理由
官方给出 tokenizers v1 相对 v0.23 的单线程 3 到 30 倍加速数据，可据此估算升级后的吞吐收益。
来源：Hugging Face Blog · huggingface.co