跳到正文
原文
AGI Hunt· iskander·· 4 小时前AI 评分47

Rohan Arun 团队提出几何自注意力新方法:2K 上下文状态小 14000 倍且 CE 更优

几何自注意力新方法:2K 上下文状态小 14000 倍且 CE 更优

AI 导读

Rohan Arun 团队提出几何化自注意力新思路:Function-weights 把权重表示为 GPU 内存中的函数,推理时可按曲线动态采样层数(手机 8 层、服务器 24 层)。

来源:AGI Hunt · agihunt.info