跳到正文
热点事件持续更新

FRAC 以幂律长记忆替代指数遗忘,提升长上下文 SSM

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

AGI Hunt 于 2026 年 10 月 1 日报道,新提出的 FRAC 架构用幂律长记忆取代状态空间模型(SSM)惯用的指数遗忘机制。报道称,该方法基于分数动力学,采用有限状态、对数间隔的指数模态与近似重尾目标核,从而得到既可并行训练与 prefill、又保留有界状态自回归解码的高效循环模块。在 1.3B 参数的语言建模实验中,FRAC 在长上下文任务上一致优于 SOTA SSM 基线,在短上下文上仍具竞争力。目前该事件仅有这一篇报道,尚无后续进展、第三方复现或开源实现等信息。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月1日
  1. AGI Hunt
    FRAC 架构用幂律长记忆取代指数遗忘,提升长上下文 SSM 表现

    FRAC 架构用幂律长记忆取代 SSM 的指数遗忘,基于分数动力学,并用有限状态、对数间隔的指数模态和近似重尾目标核,得到可并行训练与 prefill、同时保留有界状态自回归解码的高效循环模块。在包含 1.3B 参数语言建模的实验中,FRAC 在长上下文上一致优于 SOTA SSM 基线,短上下文仍有竞争力。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。