Actual Computer 发布汇编级 tokenizer toks

2026年10月7日，AGI Hunt 报道，Actual Computer 发布其首个公开软件 toks。据该报道，toks 是一款汇编级 tokenizer，被定位为面向“千万亿 token 时代”的生产级 tokenizer；其输出 id 与 Hugging Face tokenizers、tiktoken 完全一致，报道称其速度最高可达 Hugging Face 的 151 倍。截至目前，该事件仅有这一篇报道：Actual Computer 未公开更多实现细节，也没有第三方复现或独立评测结果出现。因此目前的进展是产品已发布、性能数字来自媒体报道，尚无外部验证，后续是否开源、支持哪些语言与硬件等信息仍待披露。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。