跳到正文
热点事件持续更新

五模型仅凭激活对齐,无需合并权重

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

2026年10月27日,arXiv cs.CL 的一篇论文报告:五个独立训练、架构各异的冻结模型(四个 Transformer 与一个状态空间模型)仅凭激活值即可对齐,无需合并权重。研究由此构建共享表征空间,并在最终层对20组模型配对做留出检索测试,平均准确率达0.91-0.93,随机水平为0.03;这一结果优于成对线性映射方法的0.82-0.85。但该空间在中间层表现更差,且在数学与逻辑符号上失效。论文还尝试基于该共享空间进行模型路由,结果在四类任务上均为负结果,未能胜过始终使用最强模型的做法。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.CL
    五种架构,一个共享空间:无需权重合并的跨模型表征对齐

    五个独立训练、架构各异的冻结模型(四个 Transformer 与一个状态空间模型)仅凭激活值即可对齐,无需合并权重。由此构建的共享空间在最终层对 20 组模型配对的平均留出检索准确率达 0.91-0.93(随机为 0.03),优于成对线性映射的 0.82-0.85,但中间层更差,且在数学与逻辑符号上失效。基于该空间的路由在四类任务上均为负结果,未胜过始终使用最强模型。

本事件热度走势

当前热度 9·可比范围峰值 10(10月27日 13:00)·近 24 小时可比范围变化 –

02.557.51010月27日13:0010月27日14:0010月27日14:0010月27日15:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。