跳到正文

全部动态

今日 230 条
9月29日周二
  1. arXiv cs.CL37

    SignTrace:用自然语言描述手势,反查中文手语词典词条

    SignTrace 用自然语言描述反查中文手语词典,在 6,699 条词条上取得 94.0% Hit@1。系统整合 LLM 词典富化、动作抽取、七通道检索与候选重排,重排把 500 条描述基准的 Hit@1 从 71.8% 提升至 94.0%,Hit@9 达 97.4%。六路并发下中位查询耗时 13.37 秒,已部署试用;基准措辞取自词典,泛化到用户自述描述受限。

  2. arXiv cs.CL36

    Cartograph:面向 AI 智能体的联邦式工具发现与运营方认证检索

    Cartograph 是联邦式 MCP 代理,把 AI 智能体的工具发现从 O(n) 改为 O(k) 渐进式披露。在 22 个服务器、374 个工具的部署中仅暴露三个代理工具,49 条查询基准 R@5 为 0.816,高于 Jaccard 基线的 0.592。Rift 三层分析识别出 49 个易混淆簇,网关十次试验平均增加 5ms 延迟(0.8%)。

  3. AGI Hunt53

    研究:56 个 AI 基准×53 个模型,多项基准测不出宣称的能力

    一项大规模研究借鉴社会科学中的聚合效度与区分效度概念,对 56 个 AI 基准和 53 个模型进行系统检验,发现部分基准并未真正度量其宣称测量的能力。研究指出基准影响 AI 的使用、治理与部署决策,结论对当前评测体系的有效性提出质疑。研究同时公开发布了 53 个模型、56 项基准的逐题输出数据集。

  4. AGI Hunt41

    将心理测量效度检验移植到 AI 基准与 IRT 逐题分析

    研究团队将聚敛与区分效度检验适配到 AI 基准评估,并用 IRT 模型在题目层面逐题分析,实现更细粒度效度检验。结果显示,偏差基准 BBQ 可能在测推理而非偏差,偏差基准按任务形式聚簇而非宣称的性别种族偏差;推理、知识、理解类基准高度相关或测同一概念。同类安全基准相关性弱、偏差定义不一,53 个模型、56 项基准的逐题输出数据集已公开发布。

  5. AGI Hunt43

    研究:同类安全基准相关性弱,偏差定义各行其是

    研究发现,声称测量相似安全概念的 AI 基准之间相关性往往很弱,「偏差」等安全概念在各基准中的概念化方式不一致,跨基准的安全结论难以直接比较。研究提出用聚敛与区分效度系统评估 AI 基准有效性,并指出偏差基准 BBQ 可能实际在测推理、偏差基准按任务形式聚簇而非宣称的性别种族偏差。53 个模型、56 项基准的逐题输出数据集已公开发布。

  6. AGI Hunt38

    研究:推理、知识、理解类 AI 基准高度相关或测同一概念

    一项研究观察到,声称分别测量推理、知识与理解的 AI 基准之间相关性很强,暗示这些基准可能并未捕捉到相互独立的概念,其区分度存疑。该研究主张用聚敛与区分效度系统评估 AI 基准有效性,并把心理测量效度检验移植到 AI 基准与 IRT 逐题分析。同时公开发布了覆盖 53 个模型、56 项基准的逐题输出数据集。

  7. AGI Hunt45

    研究:53 个模型、56 项基准显示,偏差基准按任务形式聚簇,而非宣称测量的性别种族偏差

    一项覆盖 53 个模型、56 项基准的研究发现,性别与种族偏差基准实际按任务类型聚簇,而非按其所宣称测量的人口群体聚簇,基准间的相关性更多来自共享设计元素。研究提出用聚敛与区分效度系统评估 AI 基准有效性,并指出 BBQ 等偏差基准可能在测推理而非偏差。53 个模型、56 项基准的逐题输出数据集已公开发布。

  8. AGI Hunt35

    研究提出用聚敛与区分效度系统评估 AI 基准有效性

    研究团队提出用心理测量学中的聚敛效度与区分效度评估 AI 基准有效性:声称测相似概念的基准应相关,测不同概念的不应相关。该方法既可用于评估单个基准,也可评估基准组合,并配套公开发布 53 个模型、56 项基准的逐题输出数据集。相关分析发现,偏差基准 BBQ 可能在测推理而非偏差,推理、知识、理解类基准高度相关,而同类安全基准相关性弱。

9月28日周一
  1. arXiv cs.AI39

    多智能体代码裁判何时真正有据可依?MARCH 上的两项无标签度量与一个拒绝猜测的裁判

    未修改的 MARCH 框架在两个代码评判基准上,有 78%–95% 的比较把两个候选方案判为同样好,准确率仅 4.4%,而同一模型直接作答可达 43.7%。更难的问题和更大的裁判模型都改变不了这一点,两项取自 pipeline 自身日志的无标签度量解释了原因。以其中一项做门控后,流程会拒绝无法判断的比较,准确率从 20.7% 升至 36.9%,同时仍回答一半的比较。

  2. arXiv cs.AI34

    将 AI 引入自主系统:从认知到集体智能

    研究提出一套基于通用智能体架构的自主系统设计与评估框架,将智能体行为刻画为围绕长期记忆组织的认知功能组合。该框架要求连接主义 AI 与符号 AI 结合,覆盖感知数据与结构化记忆的链接、目标决策与规划,以及多智能体协调下的个体与集体智能;智能体可信赖性还须涵盖认知属性维度。作者指出,自主多智能体系统的愿景与当前技术水平仍存在巨大差距。

  3. arXiv cs.CL33

    HiCoMER:面向 LLM 智能体的层次化协作记忆与有效性感知检索

    HiCoMER 提出面向 LLM 智能体的层次化协作记忆管理与有效性感知检索框架,先维护团队与个体记忆的有效性,再检索仍然有效的记忆。框架含记忆冲突更新、有效性感知检索和记忆接地答案生成三个组件。作者为协作场景构建两个记忆接地问答数据集,实验显示 HiCoMER 持续优于强基线,减少过期检索并保留团队共识、提升下游问答质量。

  4. arXiv cs.CV33

    什么能提升多模态错误信息检测?一项大规模实证研究的答案

    一项大规模实证研究通过超过 3,375 次实验,考察多模态错误信息检测的设计选择,覆盖三个 benchmark 数据集与多类预训练视觉和语言骨干网络。研究围绕 4 个关键研究问题,归纳出哪些设计选择有效、何时会静默失效,以及流程中哪些环节最影响模型行为。论文已被第十届 WiNLP Workshop 接收,该 workshop 与 EMNLP 2026 同期举办。

  5. arXiv cs.CV36

    AlphaEarth 能区分城市,却压缩了城市内部差异

    研究审计 AlphaEarth 对 162 个国家 1000 个城市区域的嵌入表示,发现它支持跨区域比较,却压缩了城市内部差异。城市嵌入落在偏离全球均值方向 62.7° 的偏移重叠区域,城市化程度仅解释 8.9% 的城市内变异。城市中心离散度随国家发展水平每标准差高 14.1%,表示的年际变化近八倍于像素重绘所能解释。

9月25日周五
9月23日周三
9月19日周六
  1. Google Research31

    MilleMiglia:面向中段物流的真实实例生成器

    Google Research 提出 MilleMiglia,一个用 C++ 编写的实例生成器,用于为中段物流配送问题生成真实基准,源代码和文档已在 GitHub 发布。中段物流覆盖最长距离且占物流总支出很大部分,但长期缺乏公开高质量数据,物流公司通常将网络拓扑和需求量视为敏感专有信息。MilleMiglia 可生成兼顾隐私的真实数据,模拟货物在配送中心换乘不同车辆、按时间窗接驳的接力运输。

9月18日周五
9月17日周四
  1. Apple Machine Learning Research38

    REVERSAL-BENCH:衡量无重置强化学习悬崖的可逆性轴与重置 Oracle

    REVERSAL-BENCH 用连续参数 ρ∈[0,1] 控制可逆性并提供重置 Oracle,覆盖 5 个物理引擎的 8 种操作任务。评估多种策略架构后发现可逆性悬崖:ρ 升高时无重置智能体被永久吸入不可恢复状态,而有回合重置的智能体仍稳定学习。该基准套件、带可恢复性标注的多模拟器数据集与重置 Oracle 已发布,另测试了在不可逆失败前介入的安全护盾。

  2. OpenAI:官网动态53

    OpenAI 公布模型失准追踪与披露框架

    OpenAI 公布了一套用于追踪、调查和披露模型失准的框架,同时给出六份关于模型意外或令人担忧行为的报告。该框架面向模型失准的记录、调查与对外披露三个环节,正文细节尚未随摘要一并提供。

9月16日周三
  1. Apple Machine Learning Research46

    TS-DFM:以轨迹为教师、经能量导航蒸馏的少步离散流匹配

    TS-DFM 用能量导航替代离散流匹配训练中的盲随机跳步:轻量能量罗盘在每个中间点评估候选续写、选出最连贯的一支,且塑造仅在训练期进行,推理成本不变。在 170M 参数语言建模上,8 步学生模型的困惑度比 1024 步教师低 32%、速度快 128×,增益在多种源分布和三种规模递增的评估器上一致。其困惑度优于所有对比的离散生成基线,包括训练数据多 6× 或模型大 5× 的方法。

  2. Apple Machine Learning Research43

    面向智能体 LLM 系统的共享选择性持久记忆架构

    共享选择性持久记忆架构面向智能体 LLM 系统,只保留任务规范、数据 schema、工具配置与输出约束四类可复用上下文,工作区可按角色访问权限跨用户共享。在三个企业部署场景中任务完成率达 96%,高于无记忆的 79% 与保留完整历史的 71%。零 token 数据刷新免去重复更新的 LLM 重调用,任务耗时降低 14×;摘要驱动生成使单次调用 token 成本降低 97×。

  3. Google Research37

    绕过推理瓶颈:Google Research 用 Retrieve-for-Train 加速复杂 AI 搜索

    Google Research 提出 Retrieve-for-Train 框架,用离线强化学习把奖励对齐的查询 fan-out 编译成监督信号,蒸馏进仅 53.9M 参数的扩散检索器,实现单次非自回归查询扩展。该框架微调 Gemma3-4B 和 Qwen3-4B,以集合级奖励评估整组结果,绕开零样本 LLM 的语义重复与数百个 CoT 推理 token 带来的自回归延迟。