跳到正文
热点事件持续更新

《降临》启发Polosukhin提出自注意力机制

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月13日,AGI Hunt 报道梳理了 Transformer 架构的灵感源头:2016 年,当时仍在 Google 的 Illia Polosukhin 受电影《降临》启发。片中七肢桶外星人不按序列交流,而是以一圈墨迹同时呈现完整含义,哪怕早前几段出现的词也能提供线索。受此触动,他设想让计算机同时看到整句甚至整段文本,再判断哪些词彼此相关,这种「整段文本同时把握」的思路催生了 self-attention 机制。报道将其称为 Transformer 架构的灵感溯源。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月13日
  1. AGI Hunt
    Illia Polosukhin 谈《降临》如何启发 self-attention:Transformer 架构灵感溯源

    2016 年仍在 Google 的 Illia Polosukhin 受电影《降临》启发,让计算机同时看到整句甚至整段再判断哪些词彼此相关,这一「整段文本同时把握」的思路催生了 self-attention 机制。触发点来自片中七肢桶外星人不按序列交流,而是以一圈墨迹同时呈现完整含义,哪怕早几段前的词也能提供线索。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。