arXiv cs.CL· Aarjan Chaudhary (Naamche Labs)·2026-10-27 12:00· 4 小时前AI 评分44

Llama-3 与 Qwen3 的词表扩展卡在预分词器：面向尼泊尔语的英文保持式修复

Merge-Based Vocabulary Extension Stalls at the Pre-Tokenizer: An English-Preserving Repair for Nepali, Tested in Continued Pretraining

AI 导读

Llama-3 和 Qwen3 的正则预分词器在 Devanagari 元音符号处切开尼泊尔语词，使其 token 数达同等英文的 2.6 至 5.8 倍，且基于合并的词表扩展无法接回碎片。

来源：arXiv cs.CL · arxiv.org