AGI Hunt· DeryaTR_·· 3 小时前AI 评分34
Richard Socher:Transformer 最大突破不是注意力,而是砍掉 RNN 层
Richard Socher:Transformer 最大突破不是注意力,而是砍掉 RNN 层
AI 导读
Recursive CEO Richard Socher 在访谈中提出,Transformer 论文最大的洞察并非发明注意力机制,而是彻底移除了循环神经网络层。他由此判断,大多数人低估 AI 影响,是因为低估了「已有想法的组合空间」的复杂度。他预测超级智能将很快主导几乎所有的科学新发现、发明与进步。
来源:AGI Hunt · agihunt.info