跳到正文
原文
AGI Hunt· zsakib_·· 3 小时前AI 评分19

LLM 中的 token 本质只是整数索引:逗号就是嵌入矩阵第 28 行

token 本质只是整数索引:逗号就是嵌入矩阵第 28 行

AI 导读

LLM 中的 token 本质只是整数 ID,实际传入模型的是嵌入矩阵中的对应行,例如逗号「,」就对应第 28 行。这些整数 ID 理论上可以是任何东西,甚至 emoji。这是一段简短的机制科普,用于帮助理解 temperature 的工作原理。

来源:AGI Hunt · agihunt.info