跳到正文

#arXiv

今日 66 条
今天9月30日周三
  1. arXiv cs.CL35

    当更新不再等于学习:通过可学习信息增益重新思考 LLM 自进化

    针对 LLM 自进化中性能先提升、后停滞再下降的"自进化退化",该工作提出以可学习信息增益为核心的整体框架,并给出训练调控方法 ATRI。该增益等于两轮数据分布的 KL 散度加熵变化,实际通过用小型语言模型拟合上一轮数据、以负对数似然给新数据打分来估计。ATRI 在轮内对样本重加权,并在跨轮信息增益持续偏低时终止训练,在常用数据集上的实验显示其效果更优。

  2. arXiv cs.CL44

    记忆整合抹平用户事实的时间形态:LAPSE 基准与 mem0、Graphiti、Letta 实测

    研究用 LAPSE 基准发现,长期记忆系统会抹平用户事实的时间形态,三个 writer 模型在 381 对匹配语句中有 244 对只抹平进行时陈述。该非对称在全部 11 种模型配置及 mem0、Graphiti、Letta 中均成立。仅改动存储动词就改变了三个 reader 对事实是否仍成立的估计;三个 reader 中有两个在可询问用户时,对扁平化笔记更常不询问就行动。

  3. arXiv cs.AI33

    超越状态到达:面向内在动机选项发现的抽象学习

    一种新算法不再让子目标同时覆盖状态所有方面,而是为每个子目标识别少量相关特征,生成泛化更广、加速探索的选项。现有 option discovery 算法采用 state-reaching,导致选项仅适用于狭窄状态区域、数量爆炸并阻碍奖励最大化。该方法学习抽象可迁移选项,在三个稀疏奖励图像域(含 Atari 游戏 MontezumasRevenge)中实现快速探索。

  4. arXiv cs.AI37

    PAIR:把 LLM 推理路径视为相位结构化轨迹

    PAIR 把推理路径视为固定问题内的相位结构化轨迹:对每个问题采样多条轨迹,按归一化轨迹进度映射到共享相对相位,仅在同一问题、同一相位内比较成功与失败轨迹。实验显示,标准跨问题正确性探针在同问题评估下大幅丧失预测力,而 PAIR 在多个模型与 benchmark 上提升了同问题轨迹排序和 Best-of-N 轨迹选择,相位引导还能改变生成结果。

  5. arXiv cs.CV33

    DuLBE:双模式低秩学习与桥原型集成用于视觉-语言类增量学习

    DuLBE 以双模式低秩学习结合桥原型集成分类器,实现免样本的视觉-语言类增量学习并达到 SOTA 性能。它按梯度需求分配两种视觉低秩更新模式并以梯度路由协调:共享模式复用可迁移知识,残差模式为任务特定变化提供低干扰通道。方法还在单位超球面上为视觉原型与文本嵌入构建测地桥并集成可靠的桥原型,以弥补文本决策边界的模态差距,同时保持低秩调优的参数效率。

  6. arXiv cs.CL58

    论文提出口述训练 VT,让 LLM 说出自身的评估意识

    论文提出口述训练(VT),让 LLM 更愿意口述自身的评估意识,同时不直接监督潜在信念。VT 把 rollout 截断在模型自发口述之前、以模型已知情的训练前缀配合 RL 目标校准口述比例;在 Qwen3.6-35B-A3B、Kimi K2.6 和 Inkling 上,可口述的评估意识提升 2.4-2.9 倍,并能迁移到未见过的智能体场景,测得的潜在评估意识与行为基本稳定。

  7. arXiv cs.AI26

    关系基础模型上下文学习中的支撑集目标泄漏:模型依赖性与评估可靠性

    研究在 13 个 RelBench 任务与 5 种关系 ICL 配置上测试 20 个目标派生特征,0-hop 目标表与包含全部 20 个泄漏列的 Full 泄漏造成最大评估偏差。泄漏影响高度依赖任务与模型,聚合变化很小时也可能反转模型变体的相对结论。Integrated Gradients 筛查在 0-hop 与 Full 条件下排序质量最佳,但删除检出的泄漏列不能稳定恢复干净评估。

  8. arXiv cs.AI33

    从检索到推理:PhenoAIR 基于 Cell Painting 图谱的智能体机制预测

    PhenoAIR 是可靠性感知的多智能体框架,在来自 JUMP Cell Painting 的基准所有 MOA 预测设置中超过表征匹配与 LLM 基线。它将 Cell Painting 的 MOA 预测从表征匹配重构为校准证据推理,维护以候选为中心的证据记忆,并用离线参考集校准按来源可靠性、表型稳定性和机制级混淆加权。该工作入选 NeurIPS 2026 main track。

  9. arXiv cs.CV36

    MoRe-Drag:以拖拽为证据的运动锚定潜在重组,用于拖拽式编辑

    MoRe-Drag 是运动锚定的拖拽式编辑方法,将像素空间 warping 作为粗运动证据注入生成采样轨迹。它通过区域感知潜在重组和阶段自适应条件,从运动结构生成转向语义精修,并以适配 MLLM 文本编码器实现无指令界面。在 DragBench-SR 和 DragBench-DR 上,其拖拽精度优于强基础编辑器并领跑 SOTA 拖拽方法,语义一致、视觉真实,代码和数据集将公开。

  10. arXiv cs.CL41

    Population Fidelity:评估 LLM 的人群代表性

    研究者提出 Population Fidelity 框架,从群体层面准确度、群体间差异量及其结构三个维度评估 LLM 生成回答的人群代表性。将该框架用于复现 LLM 问卷回答“machine bias”研究及更新模型后发现,代表性不佳既因群体间差异不足,也因差异被归入错误群体;cultural fine-tuning 虽能提升与调查中心的契合度,却不改善群体内差异的代表性。

  11. arXiv cs.CL36

    OLIVE:在学生的状态上向教师续写学习

    OLIVE 是一种在线语言模型蒸馏方法,每轮由学生生成前缀、教师自回归续写,学生用教师生成 token 的交叉熵更新。在可比 GPU 小时成本下,其推理性能高于 OPD(top-16 KL 近似),异步实现进一步减少 23.8% 训练时间。仅用 GPT-5.4-mini 的文本,在 ScienceWorld 上持续训练比同教师离线 SFT 高 13%。

  12. arXiv cs.CV34

    并非每次修正都有益:GAIN 增益引导的持续测试时自适应

    GAIN 是免反向传播、无样本存储与回放的持续测试时自适应(CTTA)框架,按“历史提议、增益决定”原则,用目标统计生成修正提议、以源相对增益决定每个样本的干预强度。在五个 benchmark 上它取得较强预测性能,ImageNet-C 上以接近源模型的校准达到 61.9% 准确率,并比代表性优化式 CTTA 基线快 15.9x。

  13. arXiv cs.CL33

    FastGuide:加速扩散大语言模型的奖励引导

    FastGuide 用并行与自回归解码的自适应混合来加速扩散大语言模型的奖励引导,在三个奖励基准上比顺序奖励引导解码最高快 4.4 倍,并保持相近的生成质量。它按每个解码步骤计算一次引导并复用于多个 token,借助 KV 缓存与注意力稀疏重算降低开销,模型不自信的 token 会被推迟解掩。

  14. arXiv cs.CV29

    OCA:ODE 驱动的交叉注意力用于图像到点云配准

    OCA(ODE 驱动的交叉注意力)通过常微分方程建模图像到点云(I2P)特征交互,缓解 2D-3D 对应学习中的注意力歧义。该模块可无缝接入现有 I2P 配准框架,作者将其集成进五个 SOTA 基线、在四个公开基准上评测。结果显示配准召回率在标准、微调、零样本设置下分别最高提升 5%、9% 和 15%。

  15. arXiv cs.AI48

    CheatBench:衡量 AI 智能体中的奖励作弊行为

    研究团队提出 CheatBench,一个衡量 AI 智能体奖励作弊行为的基准,覆盖数学研究、知识工作、编程、视觉等任务。其环境把高难度任务与作弊机会结合,用于研究诚实工作困难时智能体如何追求目标,并支持跨模型和任务类别比较。研究团队已公开释放 CheatBench,以测量和减少智能体在承担更关键职责时的作弊行为。

  16. arXiv cs.CL24

    面向僧伽罗语 Sandhi 切分的字符级神经方法

    基于 SandhiLex 的字符级序列到序列研究为僧伽罗语 Sandhi 切分建立实证基线,最佳模型(双向 LSTM 编码器 + 单向 LSTM 解码器)在词汇化、派生与词源性难子集上仅达 68.40% 完全匹配准确率,词缀型子集则为 94.00%。消融显示双向编码对性能贡献最大,原生僧伽罗语 Unicode 输入优于罗马化输入。

  17. arXiv cs.CL38

    PADMÉ:面向 LM 智能体评估器元评估的偏好对齐数据合成方法

    PADMÉ 用小型语言模型合成 LM 智能体评估器的偏好对齐元评估数据,无需人工参与。其原型在 4 个智能体领域、3 项评估标准下合成 1,000 条样本,150 条子集的人工验证显示与人类判断的一致率从朴素基线的 73% 升到 85%。用该数据集元评估 25 个常见模型,显示评估表现与评分粒度、宽松度和模型规模相关。

  18. arXiv cs.AI41

    SARA:缓解大型推理模型的欺骗性安全对齐

    研究者提出 DSAR 指标量化大型推理模型的“欺骗性安全对齐”,并提出基于 RL 的 SARA 方法缓解该问题。多个 LRM 与 benchmark 上该现象普遍存在,并在 prefilling attacks 下明显放大。SARA 同时奖励安全感知推理与安全最终答案,实验显示其在标准与对抗设置下显著缓解该问题,且保持有用性与效用,代码已开源。

  19. arXiv cs.CL38

    LLM 组合任务中的因果与可解释结构

    Llama、Qwen、Gemma 和 Mistral 在 LLM 组合任务中呈现一致的逐层表示机制。中间层使用基于其中两个 token 推断关系的联合表示,后层使用涉及全部三个 token 的联合表示;限制到因果相关联合表示还能提升下一 token 预测准确率。另一些 token 关系虽具几何结构,却在下一 token 预测中不具因果作用。

  20. arXiv cs.CL32

    VisKG:面向高效视觉推理的问题特定知识图谱

    VisKG 是一个强化学习框架,让模型把视觉内容转换为问题特定的知识图谱(KG)表示,过滤感知噪声并保留链式推理所需的实体-关系结构。该框架用 GDPO 稳定 RL 后训练,在科学、数学和通用视觉理解基准上性能与基线相当或更优,所需 token 少于基于 caption 的表示;GDPO 训练比 GRPO 平均提升 2% 准确率。

  21. arXiv cs.CL38

    CruxBench:评测 LLM 信息发现能力的基准

    CruxBench 是按信息价值(VOI)给 LLM 生成问题打分的新基准,用于衡量模型将难题拆解为关键子问题(cruxes)的信息发现能力。其 ground truth 来自未来真实事件,天然抗污染,支持开放式文本提交,在 293 个预测问题上评测了 8 个模型。VOI 与模型能力的独立度量相关性达 r=0.90,但信息发现对前沿 LLM 仍困难,仅略高于随机时序基线。

  22. arXiv cs.CL38

    PACT:面向单 token 类型化决策的成对锚定校准微调

    PACT 用四个无需新标注的训练项微调单 token 类型化决策模型,在 324 项 holdout 的三个种子上以 84.6% 准确率匹配已发布配方(85.2%),并把重标注下的答案翻转率从 13.8% 降到 9.8%。相比仅用交叉熵的对照,它在三个种子中的两个显著更准,种子间波动减半、NLL 降低 26%;代码、数据划分与训练 adapter 已公开。

  23. arXiv cs.CV34

    Reimagine Video Dynamics(RVD):解耦可编辑动态 token 的视频动态编辑框架

    Reimagine Video Dynamics(RVD)框架从视觉上下文中解耦出紧凑、可编辑的动态 token,并通过自监督重建学习该 token。其语言引导的动态 token 编辑器可将源动态转换为目标动态,训练使用可扩展的反事实视频对管线和两阶段策略。实验显示 RVD 支持视频动态编辑、免训练 retiming 和外观受控重渲染。

  24. arXiv cs.AI41

    面向潜在递归 LLM 系统的原则化思考:REST 表征监督训练目标

    REST(REpresentation-Supervised Thoughts)将因果关系、最小性、可分离性、稳定性四项有效思考表征属性转为可微损失,与交叉熵(CE)联合训练潜空间递归 LLM。在数学、科学、医学与代码生成共 7 个基准上,同等训练数据、算力与潜空间预算下,其准确率比纯 CE 训练最高提升 7.5 个百分点,最终答案收敛率提升 30%,且解码这些思考表征能更好地还原智能体预期输出。

  25. arXiv cs.AI30

    AdaST:面向时空预测的自适应耦合

    AdaST 提出一个自适应时空预测框架,用「分解—重组」范式应对真实时空数据中时间主导、空间主导与强耦合三类耦合结构。它借助异质性感知专家把输入分解为不同耦合模式的组件,交由角色对齐模块处理,再用相关性驱动的自适应重组器整合输出。该工作已被 NeurIPS 2026 主会议接收,实验显示其显著优于现有最优基线。