形态正确性对 Tokenization 重要吗？一项 Tagalog 乱序词素对照研究

研究构建 MorphAustro-Tok，把词根作为连续单元输出并附加位置中缀 token，在 Tagalog 机器翻译上较语料匹配的 BPE 基线平均提升 0.84、1.49、3.40 chrF++ 分。但在两个受控的 token 粒度水平上，打乱词素分析带来的增益变化小于种子间波动，未检测到形态正确性本身的贡献。增益也无法用 token 数量或参数量解释：最粗级别上乱序版参数更多却得分更低。