Schmidhuber 再提旧账：Google 2017 Transformer 源自 1991 ULTRA 线性注意力

Schmidhuber 称，Google 2017 年归一化二次 Transformer 建立在其 1991 年 ULTRA 线性注意力原理之上。ULTRA 将 KEY/VALUE 称为 FROM/TO，计算成本随输入规模线性增长而非二次增长。1993 年其循环扩展论文引入注意力术语，他称 ChatGPT 中的 T 可追溯至此。