Illia Polosukhin 谈《降临》如何启发 self-attention：Transformer 架构灵感溯源

2016 年仍在 Google 的 Illia Polosukhin 受电影《降临》启发，让计算机同时看到整句甚至整段再判断哪些词彼此相关，这一「整段文本同时把握」的思路催生了 self-attention 机制。触发点来自片中七肢桶外星人不按序列交流，而是以一圈墨迹同时呈现完整含义，哪怕早几段前的词也能提供线索。