COLM 2026 论文：LLM 事实存储达信息论最优率的闭式构造法

Hazy Research 团队的 COLM 2026 论文发现，LLM 的事实存储密度已达信息论最优速率，事实存储在 MLP 权重中。团队展示了无需训练、以闭式（closed-form）方法构造出能以信息论最优速率存储事实的 MLP。这些 MLP 可直接嵌入 Transformer 结构完成事实回忆任务，为理解与手工编写模型中的知识存储提供了新路径。