AGI Hunt· markjeffrey·· 3 小时前AI 评分49
Actual Computer 发布汇编级 tokenizer toks，比 Hugging Face 快达 151 倍
Actual 发布汇编级 tokenizer toks：比 Hugging Face 快达 151 倍
AI 导读
Actual Computer 发布首个公开软件 toks，定位为千万亿 token 时代的生产级 tokenizer，输出 id 与 Hugging Face tokenizers / tiktoken 完全一致。
来源：AGI Hunt · agihunt.info