跳到正文
原文
AGI Hunt· ryanallred·· 4 小时前AI 评分47

Snap 发布:号称首个全次二次语言模型,任意输入长度单 token 算力恒定

Snap 号称首个全次二次语言模型上线,任意输入长度单 token 算力恒定

AI 导读

团队发布语言模型 Snap,称其为首个全面次二次、已大规模生产可用的语言模型,训练与推理中每 token 算力恒定,与输入长度无关。传统 Transformer 下输入扩大 10 倍、注意力算力需 100 倍,Snap 借此支持更长上下文和更优成本结构。作者称社区已用它构建 coding agent 记忆、UI 设计、推荐系统等应用。

来源:AGI Hunt · agihunt.info