热点事件持续更新
FRAC 以幂律长记忆替代指数遗忘,提升长上下文 SSM
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
AGI Hunt 于 2026 年 10 月 1 日报道,新提出的 FRAC 架构用幂律长记忆取代状态空间模型(SSM)惯用的指数遗忘机制。报道称,该方法基于分数动力学,采用有限状态、对数间隔的指数模态与近似重尾目标核,从而得到既可并行训练与 prefill、又保留有界状态自回归解码的高效循环模块。在 1.3B 参数的语言建模实验中,FRAC 在长上下文任务上一致优于 SOTA SSM 基线,在短上下文上仍具竞争力。目前该事件仅有这一篇报道,尚无后续进展、第三方复现或开源实现等信息。
AI 根据报道生成 · 1 小时前更新
最新进展10月1日 03:17
FRAC 架构公布:以幂律长记忆替代指数遗忘,1.3B 实验中长上下文一致优于 SOTA SSM 基线。报道时间线
沿着报道,了解事件的不同侧面。
10月1日
- AGI HuntFRAC 架构用幂律长记忆取代指数遗忘,提升长上下文 SSM 表现
FRAC 架构用幂律长记忆取代 SSM 的指数遗忘,基于分数动力学,并用有限状态、对数间隔的指数模态和近似重尾目标核,得到可并行训练与 prefill、同时保留有界状态自回归解码的高效循环模块。在包含 1.3B 参数语言建模的实验中,FRAC 在长上下文上一致优于 SOTA SSM 基线,短上下文仍有竞争力。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。