香农忆「熵」命名：冯·诺依曼的点子

这则轶事源自香农 1971 年发表在《Scientific American》上的回忆。香农说，他原本想把自己用来度量不确定性的函数命名为 information，但该词当时已被过度使用，于是改称 uncertainty。冯·诺依曼则建议改用 entropy，理由是这一概念在统计力学中本来就叫这个名字，而且「没人真正知道熵是什么，辩论时你永远占优势」。相关报道指出，这段往事也常被 AI 圈引用来解释大模型训练中交叉熵损失的命名由来。目前围绕该事件的进展，仍是对这段旧回忆的转述与引用。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。