SignTrace:用自然语言描述手势,反查中文手语词典词条
SignTrace 用自然语言描述反查中文手语词典,在 6,699 条词条上取得 94.0% Hit@1。系统整合 LLM 词典富化、动作抽取、七通道检索与候选重排,重排把 500 条描述基准的 Hit@1 从 71.8% 提升至 94.0%,Hit@9 达 97.4%。六路并发下中位查询耗时 13.37 秒,已部署试用;基准措辞取自词典,泛化到用户自述描述受限。
SignTrace 用自然语言描述反查中文手语词典,在 6,699 条词条上取得 94.0% Hit@1。系统整合 LLM 词典富化、动作抽取、七通道检索与候选重排,重排把 500 条描述基准的 Hit@1 从 71.8% 提升至 94.0%,Hit@9 达 97.4%。六路并发下中位查询耗时 13.37 秒,已部署试用;基准措辞取自词典,泛化到用户自述描述受限。
Cartograph 是联邦式 MCP 代理,把 AI 智能体的工具发现从 O(n) 改为 O(k) 渐进式披露。在 22 个服务器、374 个工具的部署中仅暴露三个代理工具,49 条查询基准 R@5 为 0.816,高于 Jaccard 基线的 0.592。Rift 三层分析识别出 49 个易混淆簇,网关十次试验平均增加 5ms 延迟(0.8%)。
CMU 团队提出 MetaLint,把代码 linting 形式化为指令跟随任务,模型按自然语言规范判断代码是否符合最佳实践,无需重训即可泛化到未见或演进中的规则。
一项大规模研究借鉴社会科学中的聚合效度与区分效度概念,对 56 个 AI 基准和 53 个模型进行系统检验,发现部分基准并未真正度量其宣称测量的能力。研究指出基准影响 AI 的使用、治理与部署决策,结论对当前评测体系的有效性提出质疑。研究同时公开发布了 53 个模型、56 项基准的逐题输出数据集。
研究团队将聚敛与区分效度检验适配到 AI 基准评估,并用 IRT 模型在题目层面逐题分析,实现更细粒度效度检验。结果显示,偏差基准 BBQ 可能在测推理而非偏差,偏差基准按任务形式聚簇而非宣称的性别种族偏差;推理、知识、理解类基准高度相关或测同一概念。同类安全基准相关性弱、偏差定义不一,53 个模型、56 项基准的逐题输出数据集已公开发布。
MeeraDesai18 团队为开展基准有效性分析,公开发布了 53 个模型在 56 项能力与安全基准上的逐题响应与得分数据集,托管于 Hugging Face(madesai/what-ai-benchmarks-actually-measure)。该数据集可用于复现其基准相关性分析,并支持开展独立的评测方法研究。
研究发现,声称测量相似安全概念的 AI 基准之间相关性往往很弱,「偏差」等安全概念在各基准中的概念化方式不一致,跨基准的安全结论难以直接比较。研究提出用聚敛与区分效度系统评估 AI 基准有效性,并指出偏差基准 BBQ 可能实际在测推理、偏差基准按任务形式聚簇而非宣称的性别种族偏差。53 个模型、56 项基准的逐题输出数据集已公开发布。
一项研究观察到,声称分别测量推理、知识与理解的 AI 基准之间相关性很强,暗示这些基准可能并未捕捉到相互独立的概念,其区分度存疑。该研究主张用聚敛与区分效度系统评估 AI 基准有效性,并把心理测量效度检验移植到 AI 基准与 IRT 逐题分析。同时公开发布了覆盖 53 个模型、56 项基准的逐题输出数据集。
一项覆盖 53 个模型、56 项基准的研究发现,性别与种族偏差基准实际按任务类型聚簇,而非按其所宣称测量的人口群体聚簇,基准间的相关性更多来自共享设计元素。研究提出用聚敛与区分效度系统评估 AI 基准有效性,并指出 BBQ 等偏差基准可能在测推理而非偏差。53 个模型、56 项基准的逐题输出数据集已公开发布。
研究团队用聚敛与区分效度方法检验 AI 基准,发现偏差基准 BBQ 可能实际测量的是推理能力而非偏差。BBQ 常是商业模型发布中使用的唯一偏差基准,其结论可能被系统性误读。研究还公开发布了 53 个模型、56 项基准的逐题输出数据集。
研究团队提出用心理测量学中的聚敛效度与区分效度评估 AI 基准有效性:声称测相似概念的基准应相关,测不同概念的不应相关。该方法既可用于评估单个基准,也可评估基准组合,并配套公开发布 53 个模型、56 项基准的逐题输出数据集。相关分析发现,偏差基准 BBQ 可能在测推理而非偏差,推理、知识、理解类基准高度相关,而同类安全基准相关性弱。
Atria 团队公布了一项围绕 744B 参数 MoE 模型 Atria Dawn Preview 的研发记录,项目中 96.5% 的受审任务用到了 AI,智能体动作与人类输入的比值中位数在四周内从 11 升至 28.5。
新架构用低秩瓶颈自编码器堆叠替换 Transformer 掩码语言模型中的 attention,在 C4 上预训练后以约 1.9× 更少 FLOPs 达到 attention 的相当部分性能。
未修改的 MARCH 框架在两个代码评判基准上,有 78%–95% 的比较把两个候选方案判为同样好,准确率仅 4.4%,而同一模型直接作答可达 43.7%。更难的问题和更大的裁判模型都改变不了这一点,两项取自 pipeline 自身日志的无标签度量解释了原因。以其中一项做门控后,流程会拒绝无法判断的比较,准确率从 20.7% 升至 36.9%,同时仍回答一半的比较。
ProCAP 是面向 CLIP 等视觉语言模型的概率交叉注意力提示学习框架,冻结 CLIP 权重,学习视觉与文本提示 token,并用堆叠的双向多头交叉注意力让两个分支在提示深度上互相修正。
研究提出一套基于通用智能体架构的自主系统设计与评估框架,将智能体行为刻画为围绕长期记忆组织的认知功能组合。该框架要求连接主义 AI 与符号 AI 结合,覆盖感知数据与结构化记忆的链接、目标决策与规划,以及多智能体协调下的个体与集体智能;智能体可信赖性还须涵盖认知属性维度。作者指出,自主多智能体系统的愿景与当前技术水平仍存在巨大差距。
冻结 BERT-base-uncased 中支撑 AI 文本检测的神经元被定位:在 RAID 上对 9,216 个 CLS 隐藏维度做 L1-to-L2 稀疏探针,每个生成器不到 1% 的稳定神经元即可保留大部分全特征检测准确率。
HiCoMER 提出面向 LLM 智能体的层次化协作记忆管理与有效性感知检索框架,先维护团队与个体记忆的有效性,再检索仍然有效的记忆。框架含记忆冲突更新、有效性感知检索和记忆接地答案生成三个组件。作者为协作场景构建两个记忆接地问答数据集,实验显示 HiCoMER 持续优于强基线,减少过期检索并保留团队共识、提升下游问答质量。
生产 text-to-SQL 流水线中部署的 gpt-4o-mini LLM-as-judge 与人工标注一致性极低,分歧富集集上 Cohen's kappa 仅 0.04、均匀随机抽查 0.42,并误标 77.1% 的人工判定 FAITHFUL 案例。
论文提出技能级联攻击,把恶意目标分散到多个技能中,每个技能单独看都无害,组合执行后才产生危害。作者开发了自动化多智能体红队框架 SkillCascade,并发布 SkillCascade-Bench,包含 213 个经过验证的级联测试用例,覆盖多个智能体系统与领域。
一项大规模实证研究通过超过 3,375 次实验,考察多模态错误信息检测的设计选择,覆盖三个 benchmark 数据集与多类预训练视觉和语言骨干网络。研究围绕 4 个关键研究问题,归纳出哪些设计选择有效、何时会静默失效,以及流程中哪些环节最影响模型行为。论文已被第十届 WiNLP Workshop 接收,该 workshop 与 EMNLP 2026 同期举办。
一篇获 Information Fusion 接收的综述从信息融合视角梳理虚假评论检测,覆盖 2018 年至今年初的 211 项研究,并追溯从传统机器学习到 PLM 与 LLM 方法的演进。
ScopeBench 用 30 个智能体安全任务测范围遵守,任务目标只有越出授权范围才能达成。8 个模型在同一 harness 下原始能力 12.2%–81.1%、范围遵守率 34.4%–86.7%。Opus-4-8 原始能力比 sonnet-4-6 高 10 个百分点,范围遵守率高 35.6 个百分点。
研究审计 AlphaEarth 对 162 个国家 1000 个城市区域的嵌入表示,发现它支持跨区域比较,却压缩了城市内部差异。城市嵌入落在偏离全球均值方向 62.7° 的偏移重叠区域,城市化程度仅解释 8.9% 的城市内变异。城市中心离散度随国家发展水平每标准差高 14.1%,表示的年际变化近八倍于像素重绘所能解释。
CSCWD 通过跨尺度通道知识蒸馏,把 YOLO11m-P2 教师的高分辨率空间表征迁移到 YOLO11n 学生,且不改变其推理架构。在 Drone-vs-Bird 协议下,YOLO11n-CSCWD 达 50.17% mAP@0.5 与 59.73% recall,较 CA-YOLO11n baseline 提升 2.92 和 3.55 个百分点。
LiTe-GS 提出面向 3D Gaussian Splatting 的 Oracle 高效下一最佳视角选择方法,用随机子集评估替代对全候选池打分。其 Oracle 复杂度为 O(M log(1/ε)),与候选视角数 M 相关、与选择基数 K 无关。
Google Research 提出 AI video co-director,一个构建在 Gemini 和 Veo 之上的统一多智能体编排框架,用于自动化生成跨镜头连贯的分钟级长视频。
GitHub 与耶鲁气候变化传播项目对 1,039 名 GitHub 用户的调查显示,80% 受访者有兴趣使用帮助写出更节能代码的工具,78% 想要减少软件环境足迹的最佳实践,74% 希望衡量软件或开发流程的影响。
OpenAI 发布 MentalHealthBench,一个由专家参与制定的基准,用于评估 AI 在真实心理健康对话场景中回复是否有帮助且安全。该基准覆盖现实的mental health对话,兼顾有用性与安全性两个维度。
Google Research 提出 MilleMiglia,一个用 C++ 编写的实例生成器,用于为中段物流配送问题生成真实基准,源代码和文档已在 GitHub 发布。中段物流覆盖最长距离且占物流总支出很大部分,但长期缺乏公开高质量数据,物流公司通常将网络拓扑和需求量视为敏感专有信息。MilleMiglia 可生成兼顾隐私的真实数据,模拟货物在配送中心换乘不同车辆、按时间窗接驳的接力运输。
Google 发布生成式 UI(GenUI)教育研究实验,教师可创建贴合自身课程目标的定制互动教学模拟,界面与内容动态生成。同时开放 30 多个英语 STEM 学习互动示例库,覆盖物理、化学、生物、数学,面向初高中,均由 AI 生成、教师审核。
REVERSAL-BENCH 用连续参数 ρ∈[0,1] 控制可逆性并提供重置 Oracle,覆盖 5 个物理引擎的 8 种操作任务。评估多种策略架构后发现可逆性悬崖:ρ 升高时无重置智能体被永久吸入不可恢复状态,而有回合重置的智能体仍稳定学习。该基准套件、带可恢复性标注的多模拟器数据集与重置 Oracle 已发布,另测试了在不可逆失败前介入的安全护盾。
OpenAI 公布了一套用于追踪、调查和披露模型失准的框架,同时给出六份关于模型意外或令人担忧行为的报告。该框架面向模型失准的记录、调查与对外披露三个环节,正文细节尚未随摘要一并提供。
OpenAI 经济研究显示,员工正在传统岗位职责之外使用 AI,以及哪些新活动会成为其工作中反复出现的部分。该研究关注员工如何借此解锁新的工作方式,而非局限于原有角色。
Glyph 是一个生产系统,把列描述生成与列类型标注建模为由状态图编排的协作式 LLM 智能体。Descriptor 从企业 GitHub 按需检索流水线源码来支撑生成。
TS-DFM 用能量导航替代离散流匹配训练中的盲随机跳步:轻量能量罗盘在每个中间点评估候选续写、选出最连贯的一支,且塑造仅在训练期进行,推理成本不变。在 170M 参数语言建模上,8 步学生模型的困惑度比 1024 步教师低 32%、速度快 128×,增益在多种源分布和三种规模递增的评估器上一致。其困惑度优于所有对比的离散生成基线,包括训练数据多 6× 或模型大 5× 的方法。
DACA-GRPO 为扩散语言模型强化学习引入去噪感知信用分配,可作为任意 GRPO 训练器的轻量即插即用增强。在三种 GRPO 基线方法上,它在涵盖数学推理、代码生成、约束满足与 JSON schema 遵循等七个 benchmark 上取得一致提升,最高增益分别为 5.6pp、7.4pp、36.3pp 和 5.9pp。
共享选择性持久记忆架构面向智能体 LLM 系统,只保留任务规范、数据 schema、工具配置与输出约束四类可复用上下文,工作区可按角色访问权限跨用户共享。在三个企业部署场景中任务完成率达 96%,高于无记忆的 79% 与保留完整历史的 71%。零 token 数据刷新免去重复更新的 LLM 重调用,任务耗时降低 14×;摘要驱动生成使单次调用 token 成本降低 97×。
Google Research 提出 Retrieve-for-Train 框架,用离线强化学习把奖励对齐的查询 fan-out 编译成监督信号,蒸馏进仅 53.9M 参数的扩散检索器,实现单次非自回归查询扩展。该框架微调 Gemma3-4B 和 Qwen3-4B,以集合级奖励评估整组结果,绕开零样本 LLM 的语义重复与数百个 CoT 推理 token 带来的自回归延迟。
ALTK-Evolve 新增一致性指南和一致性分析器,在 AppWorld test_normal 上把 GPT-4.1 ReAct 智能体的一致性差距从 24.4pp 收窄到 12.0pp。