arXiv cs.CL· Binayak Mukherjeea, Moitreya Nandi, Arindam Panja·· 4 小时前AI 评分34
AdaptTok-Indic：面向印度语言的文字系统感知自适应 Tokenization
AdaptTok-Indic: Script-Aware Adaptive Tokenization for Indic Languages
AI 导读
AdaptTok-Indic 提出面向印度语言的文字系统感知自适应 Tokenization，在 Bengali 和 Hindi 上平均 fertility 为 1.432、1.388，低于 SentencePiece BPE 的 2.156、2.085。其下游平均分 57.69 对 50.82，当前为小规模原型，未做统计显著性检验。
来源：arXiv cs.CL · arxiv.org