实验：语言模型无需可训练输入嵌入表也能学语言

2026年10月7日，AGI Hunt 报道了 A. Bochkov 的一项单次运行对照实验：语言模型不使用可训练输入嵌入表，也能学会语言。报道称，在相同 tokenizer、backbone 与训练配方下，研究者把输入端分别改为规范 16-bit token ID 编码，或采用 GF(2) 上的固定可逆重编码，这两个 decoder-only 模型均获得了可观的语言能力。据此，该实验认为可训练的输入嵌入表并非语言模型习得语言的必要条件。目前披露的信息仅涉及这一组对照设置与一次运行结果，模型规模、训练数据与具体评测指标等细节未见说明，也未见其他来源的独立复现报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。