AGI Hunt· ariG23498·· 3 小时前AI 评分62
Hugging Face 发布 tokenizers v1，性能较 v0.23 提升数十倍
Hugging Face 发布 tokenizers v1:性能较 v0.23 提升数十倍
AI 导读
Hugging Face 团队发布 tokenizers v1，并撰文详解这次重构，称在很多场景下比 v0.23 快数十倍，重点是把 encode/decode 与扩展性都做到可度量。
来源：AGI Hunt · agihunt.info