热点事件持续更新
华盛顿大学提出 COUNT 用 n-gram 计数表扩展主存记忆
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026年10月15日，AGI Hunt 报道，华盛顿大学提出 COUNT：在主存中存储预计算的 n-gram 计数表来扩展语言模型记忆，无需训练新参数。在固定算力预算下，为 1B 参数语言模型预训练加入 COUNT 输入嵌入，验证损失改善相当于多出 57% 计算量。该方法在 GPU 显存紧张时表现更优：骨干参数占满显存、COUNT 放在主存，优于在显存内分摊可学习 n-gram 嵌入。推理阶段只需换入不同领域语料的计数表，即可免训练适配新任务。截至目前，该工作处于提出与实验验证阶段。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 11:17
华盛顿大学提出 COUNT，用主存 n-gram 计数表扩展记忆，1B 模型验证损失改善等效多 57% 算力。报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- AGI Hunt华盛顿大学提出 COUNT：用 n-gram 计数表扩展主存，1B 模型等效多 57% 算力
华盛顿大学提出 COUNT，通过在主存存储预计算的 n-gram 计数表扩展语言模型记忆，无需训练新参数。固定算力预算下，为 1B 参数 LM 预训练加入 COUNT 输入嵌入，验证损失改善相当于多 57% 计算量。GPU 显存紧张时，骨干参数占满显存、COUNT 放主存优于显存内分摊可学习 n-gram 嵌入，推理时换入不同领域语料计数表即可免训练适配新任务。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。