跳到正文

#论文/研究

今日 238 条
9月29日周二
  1. arXiv cs.CL34

    CARGO:面向生产环境智能体 AI 的上下文感知检索门控评估

    CARGO 框架将检索到的参考当作流程范例、以实例观测上下文锚定事实判断、并按检索置信度门控,用于生产环境的智能体 AI 评估。在 246 条样本、7,872 次判断的 CARGO-Bench 上,参考式 judge 会惩罚 100% 的正确实体替换答案且 DI 约为 0,CARGO 将误判降至 0/50、矛盾召回保持 50/50,DI 升至 0.58;但其宽松设计对流程性错误的召回仅 20%。

  2. arXiv cs.CL39

    检索式开放式评估为何失效?长文本医学答案事实性验证的自动分类体系

    一项案例研究提出两套分类体系,把检索式医学事实核查的失败拆解为检索阶段五类质量维度错误与验证推理六步错误。研究基于 MedExpert 开放式数据集和 3 个封闭式数据集,用 LLM-as-Judge 自动标注,并在 4 种检索方法与 6 个前沿验证模型上压力测试。结果显示扩大模型规模、增加推理投入、纳入权威网络来源与医学微调都无法消除这些失败模式。

  3. arXiv cs.CL30

    面向 LLM 同声语音到语音翻译的因果感知框架 FAST-CAP

    LLM 同声语音到语音翻译框架 FAST-CAP 提出,包含分解式 S2ST 架构 FAST、因果感知自适应策略 CAP 和因果感知延迟指标。在 CVSS 西班牙语、德语、法语上,它比固定策略最高提升 1.2 BLEU、延迟相对降低 26%。该框架用远少于现有系统的训练数据,在语音翻译质量与说话人保真度上达到 SOTA,延迟相对降低最多 38.8%。

  4. arXiv cs.CL34

    概念与组块统一理论:基于 Cobweb 的扩展与 trellis 实现

    Cobweb 分类与概念形成模型被扩展为统一处理概念与组块的理论,配套实现 trellis 在三个合成语法上完成实验。该理论不限定模态,适用于任何可分解为元素及其关系的经验;实验显示 trellis 能表示句法知识、解析与生成句子,并从样本解析中学习组合结构。论文被 ACS-26 接收作口头报告。

  5. arXiv cs.CL30

    系统性综述筛选自动化的基准框架:SRBench 与 PromptSR

    SRBench 基准数据集以 45,064 条标注数据评估 LLM 在系统性综述(SR)筛选中的表现,覆盖 32 项精选二次研究。其评测框架考虑 SR 中排除文章天然多于纳入文章的类别不平衡问题,并指出传统指标在这类高度不平衡场景下可能产生误导;配套的 PromptSR 工具支持提示词实验、实验管理与结果分析。

  6. arXiv cs.CL50

    Spotify 论文:对话式推荐智能体的合成数据生成与自我改进循环

    Spotify 提出多轮合成数据生成管线与自我改进循环,在冷启动阶段优化对话式推荐智能体的规划与工具调用,规划质量在高度优化的人工提示词基础上再提升 8%。自我改进循环结合基于方差的对比优化与编码智能体的迭代修正,自动定位并修复规划与工具调用错误。系统已在 Spotify 落地,线上 A/B 测试显示用户收听提升 14%、周活跃用户提升 5%、跳过率下降 5%。

  7. arXiv cs.CL37

    SignTrace:用自然语言描述手势,反查中文手语词典词条

    SignTrace 用自然语言描述反查中文手语词典,在 6,699 条词条上取得 94.0% Hit@1。系统整合 LLM 词典富化、动作抽取、七通道检索与候选重排,重排把 500 条描述基准的 Hit@1 从 71.8% 提升至 94.0%,Hit@9 达 97.4%。六路并发下中位查询耗时 13.37 秒,已部署试用;基准措辞取自词典,泛化到用户自述描述受限。

  8. arXiv cs.CL36

    Cartograph:面向 AI 智能体的联邦式工具发现与运营方认证检索

    Cartograph 是联邦式 MCP 代理,把 AI 智能体的工具发现从 O(n) 改为 O(k) 渐进式披露。在 22 个服务器、374 个工具的部署中仅暴露三个代理工具,49 条查询基准 R@5 为 0.816,高于 Jaccard 基线的 0.592。Rift 三层分析识别出 49 个易混淆簇,网关十次试验平均增加 5ms 延迟(0.8%)。

  9. AGI Hunt53

    研究:56 个 AI 基准×53 个模型,多项基准测不出宣称的能力

    一项大规模研究借鉴社会科学中的聚合效度与区分效度概念,对 56 个 AI 基准和 53 个模型进行系统检验,发现部分基准并未真正度量其宣称测量的能力。研究指出基准影响 AI 的使用、治理与部署决策,结论对当前评测体系的有效性提出质疑。研究同时公开发布了 53 个模型、56 项基准的逐题输出数据集。

  10. AGI Hunt41

    将心理测量效度检验移植到 AI 基准与 IRT 逐题分析

    研究团队将聚敛与区分效度检验适配到 AI 基准评估,并用 IRT 模型在题目层面逐题分析,实现更细粒度效度检验。结果显示,偏差基准 BBQ 可能在测推理而非偏差,偏差基准按任务形式聚簇而非宣称的性别种族偏差;推理、知识、理解类基准高度相关或测同一概念。同类安全基准相关性弱、偏差定义不一,53 个模型、56 项基准的逐题输出数据集已公开发布。

  11. AGI Hunt45

    研究:53 个模型、56 项基准显示,偏差基准按任务形式聚簇,而非宣称测量的性别种族偏差

    一项覆盖 53 个模型、56 项基准的研究发现,性别与种族偏差基准实际按任务类型聚簇,而非按其所宣称测量的人口群体聚簇,基准间的相关性更多来自共享设计元素。研究提出用聚敛与区分效度系统评估 AI 基准有效性,并指出 BBQ 等偏差基准可能在测推理而非偏差。53 个模型、56 项基准的逐题输出数据集已公开发布。

  12. AGI Hunt35

    研究提出用聚敛与区分效度系统评估 AI 基准有效性

    研究团队提出用心理测量学中的聚敛效度与区分效度评估 AI 基准有效性:声称测相似概念的基准应相关,测不同概念的不应相关。该方法既可用于评估单个基准,也可评估基准组合,并配套公开发布 53 个模型、56 项基准的逐题输出数据集。相关分析发现,偏差基准 BBQ 可能在测推理而非偏差,推理、知识、理解类基准高度相关,而同类安全基准相关性弱。

  13. IT之家50

    20 余名行业领袖示警“智能爆炸”,Anthropic、OpenAI 高管呼吁关注 AI 自我改进

    20 多名 AI 行业领袖和研究人员在一篇新论文中警告,用 AI 推动下一代模型研发自动化的做法正在兴起,可能让 AI 技术进步突然加速,即所谓“智能爆炸”。论文作者包括 Anthropic 联合创始人杰克·克拉克、OpenAI 首席科学家雅库布·帕乔茨基,以及杰弗里·辛顿、约书亚·本吉奥等人,他们担心 AI 研发自动化会削弱人类监督。

9月28日周一
  1. arXiv cs.AI39

    多智能体代码裁判何时真正有据可依?MARCH 上的两项无标签度量与一个拒绝猜测的裁判

    未修改的 MARCH 框架在两个代码评判基准上,有 78%–95% 的比较把两个候选方案判为同样好,准确率仅 4.4%,而同一模型直接作答可达 43.7%。更难的问题和更大的裁判模型都改变不了这一点,两项取自 pipeline 自身日志的无标签度量解释了原因。以其中一项做门控后,流程会拒绝无法判断的比较,准确率从 20.7% 升至 36.9%,同时仍回答一半的比较。

  2. arXiv cs.AI34

    将 AI 引入自主系统:从认知到集体智能

    研究提出一套基于通用智能体架构的自主系统设计与评估框架,将智能体行为刻画为围绕长期记忆组织的认知功能组合。该框架要求连接主义 AI 与符号 AI 结合,覆盖感知数据与结构化记忆的链接、目标决策与规划,以及多智能体协调下的个体与集体智能;智能体可信赖性还须涵盖认知属性维度。作者指出,自主多智能体系统的愿景与当前技术水平仍存在巨大差距。

  3. arXiv cs.CL33

    HiCoMER:面向 LLM 智能体的层次化协作记忆与有效性感知检索

    HiCoMER 提出面向 LLM 智能体的层次化协作记忆管理与有效性感知检索框架,先维护团队与个体记忆的有效性,再检索仍然有效的记忆。框架含记忆冲突更新、有效性感知检索和记忆接地答案生成三个组件。作者为协作场景构建两个记忆接地问答数据集,实验显示 HiCoMER 持续优于强基线,减少过期检索并保留团队共识、提升下游问答质量。

  4. arXiv cs.CV33

    什么能提升多模态错误信息检测?一项大规模实证研究的答案

    一项大规模实证研究通过超过 3,375 次实验,考察多模态错误信息检测的设计选择,覆盖三个 benchmark 数据集与多类预训练视觉和语言骨干网络。研究围绕 4 个关键研究问题,归纳出哪些设计选择有效、何时会静默失效,以及流程中哪些环节最影响模型行为。论文已被第十届 WiNLP Workshop 接收,该 workshop 与 EMNLP 2026 同期举办。

  5. arXiv cs.CV36

    AlphaEarth 能区分城市,却压缩了城市内部差异

    研究审计 AlphaEarth 对 162 个国家 1000 个城市区域的嵌入表示,发现它支持跨区域比较,却压缩了城市内部差异。城市嵌入落在偏离全球均值方向 62.7° 的偏移重叠区域,城市化程度仅解释 8.9% 的城市内变异。城市中心离散度随国家发展水平每标准差高 14.1%,表示的年际变化近八倍于像素重绘所能解释。

9月25日周五
9月23日周三
9月19日周六
  1. Google Research31

    MilleMiglia:面向中段物流的真实实例生成器

    Google Research 提出 MilleMiglia,一个用 C++ 编写的实例生成器,用于为中段物流配送问题生成真实基准,源代码和文档已在 GitHub 发布。中段物流覆盖最长距离且占物流总支出很大部分,但长期缺乏公开高质量数据,物流公司通常将网络拓扑和需求量视为敏感专有信息。MilleMiglia 可生成兼顾隐私的真实数据,模拟货物在配送中心换乘不同车辆、按时间窗接驳的接力运输。

9月18日周五
9月17日周四
  1. Apple Machine Learning Research38

    REVERSAL-BENCH:衡量无重置强化学习悬崖的可逆性轴与重置 Oracle

    REVERSAL-BENCH 用连续参数 ρ∈[0,1] 控制可逆性并提供重置 Oracle,覆盖 5 个物理引擎的 8 种操作任务。评估多种策略架构后发现可逆性悬崖:ρ 升高时无重置智能体被永久吸入不可恢复状态,而有回合重置的智能体仍稳定学习。该基准套件、带可恢复性标注的多模拟器数据集与重置 Oracle 已发布,另测试了在不可逆失败前介入的安全护盾。

  2. OpenAI:官网动态53

    OpenAI 公布模型失准追踪与披露框架

    OpenAI 公布了一套用于追踪、调查和披露模型失准的框架,同时给出六份关于模型意外或令人担忧行为的报告。该框架面向模型失准的记录、调查与对外披露三个环节,正文细节尚未随摘要一并提供。

9月16日周三