跳到正文
原文
AGI Hunt· A. Bochkov·· 3 小时前AI 评分37

实验表明:语言模型不用可训练输入嵌入表也能学会语言

实验表明语言模型不用可训练输入嵌入表也能学会语言

AI 导读

A. Bochkov 的单次运行对照实验表明,语言模型不用可训练输入嵌入表也能学会语言。在相同 tokenizer、backbone 与训练配方下,输入端改用规范 16-bit token ID 编码或 GF(2) 固定可逆重编码的两个 decoder-only 模型均获得可观能力。

来源:AGI Hunt · agihunt.info