热点事件持续更新
Llama-3/Qwen3尼泊尔语分词修复
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月27日，arXiv cs.CL 一篇论文指出，Llama-3 和 Qwen3 的正则预分词器会在 Devanagari 元音符号处切开尼泊尔语词，使尼泊尔语 token 数达到同等英文的 2.6 至 5.8 倍。基于合并的词表扩展无法把这些碎片重新接回，因此词表扩展受卡于预分词器环节。论文提出面向尼泊尔语的英文保持式修复方案，目标是在不破坏英文分词的前提下解决该问题。目前进展停留在论文报告层面。
AI 根据报道生成 · 3 小时前更新
最新进展10月27日 12:00
arXiv 新论文将问题定位到预分词器，并提出尼泊尔语英文保持式修复方案。报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv cs.CLLlama-3 与 Qwen3 的词表扩展卡在预分词器：面向尼泊尔语的英文保持式修复
Llama-3 和 Qwen3 的正则预分词器在 Devanagari 元音符号处切开尼泊尔语词，使其 token 数达同等英文的 2.6 至 5.8 倍，且基于合并的词表扩展无法接回碎片。
本事件热度走势
当前热度 9·可比范围峰值 10（10月27日 13:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。