AGI Hunt· Afshin Khadangi·· 3 小时前AI 评分32
卢森堡大学提出 Continuum Attention:连续积分替代离散注意力,性能全面胜出
卢森堡大学提出 Continuum Attention:连续积分替代离散注意力,性能全面胜出
AI 导读
卢森堡大学提出 Continuum Attention(CA),用连续分段线性记忆曲线的积分替代离散 key/value 查找。相比 softmax 与 focal attention,CA 平均验证 NLL 分别降低 0.0200 与 0.0480 nats/byte,赢得全部配对比较。该方法保持二次序列复杂度,更大规模泛化仍是开放问题。
来源:AGI Hunt · agihunt.info