香农忆「熵」命名往事：冯·诺依曼称没人懂熵，争论时永远占上风

香农 1971 年在《Scientific American》回忆，自己本想将度量不确定性的函数命名为 information，因该词已被过度使用而改叫 uncertainty。冯·诺依曼建议改用 entropy，理由是它在统计力学中早已叫这个名字，且「没人真正知道熵是什么，辩论时你永远占优势」。这段轶事也常被 AI 圈引用来解释大模型训练中交叉熵损失的命名由来。