跳到正文
原文
AGI Hunt· Afshin Khadangi·· 3 小时前AI 评分32

卢森堡大学提出 Continuum Attention:连续积分替代离散注意力,性能全面胜出

卢森堡大学提出 Continuum Attention:连续积分替代离散注意力,性能全面胜出

AI 导读

卢森堡大学提出 Continuum Attention(CA),用连续分段线性记忆曲线的积分替代离散 key/value 查找。相比 softmax 与 focal attention,CA 平均验证 NLL 分别降低 0.0200 与 0.0480 nats/byte,赢得全部配对比较。该方法保持二次序列复杂度,更大规模泛化仍是开放问题。

来源:AGI Hunt · agihunt.info