32位研究者耗时8个月发布最全 Tokenization 综述

32 位 tokenizer 领域研究者历时约 8 个月合作完成的 Tokenization 综述论文在 Reddit 引发关注，作者称这是分词领域迄今最全面的综述。论文指出 tokenization 是语言建模中被严重低估的研究方向，其影响贯穿整个 NLP 流程，但相关工作此前缺乏系统性梳理，该综述试图填补这一空白。