Token 边界的代价：压缩证书与预测

研究显示，正则边界规则使英语维基百科上的最优 token 数增加 28.3%–36.8%，并可用最短路径与线性规划松弛给出可独立校验的下界。Byte pair encoding 比受限下界高 2.1%、比无限制下界高 10.9%；在 85M 非嵌入参数与匹配训练 token 预算下，无限制字典在 12 种语言的配对研究中 held-out bits per byte 更优。