华盛顿大学提出 COUNT：用 n-gram 计数表扩展主存，1B 模型等效多 57% 算力

华盛顿大学提出 COUNT，通过在主存存储预计算的 n-gram 计数表扩展语言模型记忆，无需训练新参数。固定算力预算下，为 1B 参数 LM 预训练加入 COUNT 输入嵌入，验证损失改善相当于多 57% 计算量。GPU 显存紧张时，骨干参数占满显存、COUNT 放主存优于显存内分摊可学习 n-gram 嵌入，推理时换入不同领域语料计数表即可免训练适配新任务。