跳到正文
原文
AGI Hunt· Ivan Kobyzev·· 2 小时前AI 评分42

FRAC 架构用幂律长记忆取代指数遗忘,提升长上下文 SSM 表现

AI 导读

FRAC 架构用幂律长记忆取代 SSM 的指数遗忘,基于分数动力学,并用有限状态、对数间隔的指数模态和近似重尾目标核,得到可并行训练与 prefill、同时保留有界状态自回归解码的高效循环模块。在包含 1.3B 参数语言建模的实验中,FRAC 在长上下文上一致优于 SOTA SSM 基线,短上下文仍有竞争力。

来源:AGI Hunt · agihunt.info