跳到正文
热点事件持续更新

SwiLA 架构:J=1 时退化为 DeltaNet

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

据 AGI Hunt 2026 年 10 月 6 日的报道,研究者 hyundongleee 提出 SwiLA 架构。该架构用 J 个线性回归的混合,让每个 value 坐标各自选择一个回归器,并带有可学习先验;其优化器以 online SGD 按「责任度」加权,执行一步 delta-rule 更新。报道指出,SwiLA 在 J=1 时恰好退化为 DeltaNet,因而为线性注意力与 DeltaNet 类方法提供了一个统一的混合视角。这是该事件目前唯一一篇报道,此前无相关报道,也未出现数字或说法上的前后矛盾,暂无进一步进展。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月6日
  1. AGI Hunt
    SwiLA 架构解读:J=1 时即退化为 DeltaNet

    研究者 hyundongleee 提出的 SwiLA 在 J=1 时恰好退化为 DeltaNet,为线性注意力/DeltaNet 类方法提供统一的混合视角。SwiLA 用 J 个线性回归的混合让每个 value 坐标各选一个回归器并带可学习先验,优化器以 online SGD 按「责任度」加权执行一步 delta-rule 更新。

本事件热度走势

当前热度 8·可比范围峰值 8(10月6日 15:00)·近 24 小时可比范围变化 –

02.557.51010月6日15:0010月6日16:0010月6日16:0010月6日17:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。