热点事件持续更新
论文量化分词边界的压缩代价
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
2026 年 9 月 30 日，arXiv cs.AI 上的一项研究《Token 边界的代价：压缩证书与预测》考察了分词边界规则带来的压缩代价。研究显示，正则边界规则使英语维基百科上的最优 token 数增加 28.3%–36.8%，并可用最短路径与线性规划松弛给出可独立校验的下界。研究还比较了常见分词方法：Byte pair encoding 比受限下界高 2.1%，比无限制下界高 10.9%。在 85M 非嵌入参数与匹配训练 token 预算的设定下，无限制字典在覆盖 12 种语言的配对研究中 held-out bits per byte 表现更优。目前该工作以预印本形式发布，报道中未提及其他后续进展。
AI 根据报道生成 · 3 小时前更新
最新进展9月30日 12:00
新预印本量化正则分词边界代价：英语维基百科最优 token 数增加 28.3%–36.8%。报道时间线
沿着报道，了解事件的不同侧面。
9月30日
- arXiv cs.AIToken 边界的代价：压缩证书与预测
研究显示，正则边界规则使英语维基百科上的最优 token 数增加 28.3%–36.8%，并可用最短路径与线性规划松弛给出可独立校验的下界。Byte pair encoding 比受限下界高 2.1%、比无限制下界高 10.9%；在 85M 非嵌入参数与匹配训练 token 预算下，无限制字典在 12 种语言的配对研究中 held-out bits per byte 更优。
本事件热度走势
当前热度 9·可比范围峰值 10（9月30日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。