跳到正文
原文
arXiv cs.CL· Nicol\'as Vera Z\'u\~niga·· 2 天前AI 评分41

语言模型把自身重复 token 映射到哪里

Where a Model Sends Its Own Repeated Token

AI 导读

研究用一次前向计算读取 argmax p(. | t, t),把语言模型对自身重复 token 的映射画到整个词表。非固定点部分按源 token 配对消除基数混杂后,模型家族归属准确率达 0.8333(12 个模型对 19 个模型池,随机 0.1389),固定点部分为 0.5833。

来源:arXiv cs.CL · arxiv.org