Rylan Schaeffer 证明分词器三难困境并发布 Tokenizer Myths 讲座幻灯片

AI 研究者 Rylan Schaeffer 公布「分词器三难困境」理论结果：三个合理的分词器评价指标只能同时满足其中两个，并发布讲座「Tokenizer Myths and Where to Find Them」的完整幻灯片。他还在推文线程中论证了 BPB 度量的缺陷。讲座系统梳理分词器领域流传的常见误区，帮助研究者更准确理解分词器的作用与局限。