Schmidhuber 重申线性注意力与 Transformer 概念源自 1991 年 ULTRA

AI 学者 Schmidhuber 重申，他 1991 年提出的非归一化线性 Transformer（ULTRA）已实现线性化注意力，计算成本随输入规模线性而非二次增长，并包含 KEY/VALUE 等机制。他认为 Google 2017 年的归一化二次 Transformer 并非全新概念，而是源自这一早期工作，延续其对 Transformer 历史归属权的一贯主张。