arXiv cs.CL· Muhammad Abdullahi Said, Abass Oguntade, Elisha Komolafe, Babangida Sani, Fatima Muhammad Adam, Muhammad Sammani Sani·· 4 小时前AI 评分32
不同 Tokenizer Fertility 语言间的概念方向可靠性
Concept Direction Reliability Across Languages with Different Tokenizer Fertility
AI 导读
英语、Hausa、Yoruba 三种语言的末位 token 情感方向分半一致性分别为 0.737–0.870、0.589–0.762 和 0.101–0.399，在四个语言模型、77 组完整对比中该语言排序始终一致。
来源：arXiv cs.CL · arxiv.org