arXiv cs.CL· Alexander Nemecek, Yuqiao Xu, Joseph Falkenburg, Erman Ayday·· 2 小时前AI 评分42
无 Tokenizer 仍有差距:同形字与不可见字符水印的跨语言公平性
No Tokenizer, Still a Gap: Cross-Lingual Fairness of Homoglyph and Invisible-Character Watermarking
AI 导读
绕过 Tokenizer 的同形字与不可见字符水印仍未消除跨语言差距:在 24 种文字、40 种语言变体上,字符容量相差 3.3 倍,96% 由文字系统解释。拉丁文字内部资源水平无显著差异(ρ=+0.095,p=0.78),跨文字时容量随资源水平上升(ρ=+0.54)。复制粘贴剥离不可见字符后,检测英文或波斯文约需 2 个 code points,老挝文需 93 个。
来源:arXiv cs.CL · arxiv.org