统计学家 Shalizi 用马尔可夫链与核平滑剖析 Attention 与 LLM

卡内基梅隆统计学家 Cosma Shalizi 发布公开学习笔记，用马尔可夫链与核平滑等统计视角重新审视 Attention 机制与大语言模型，引发讨论。有作者借此事分享心得：当某个方法实际效果很好，却因「这只是 XX 的特例、太朴素」而被轻视时，往往说明观察者忽略了其中的非显然要素，Transformer 的成功正是这一认知的例证。