跳到正文

#推理

今日 50 条
9月29日周二
  1. arXiv cs.CL53

    RAG 过期检索证据会覆盖模型正确答案,论文构建 317 例知识反转基准

    论文识别出 stale-document poisoning(过期文档投毒)现象,即模型在不检索时能答对,检索到过期证据后答案反而被覆盖。作者构建覆盖医学、法律、软件和平台政策的 317 个已验证知识反转基准,在 12 个模型上测试:过期检索让 Llama 30%、Qwen 37% 的回答翻转,加上显式遵循文档的指令后分别升至 66% 和 75%。

  2. arXiv cs.CL30

    用 LLM 与知识图谱引导推理建模学生的意义建构

    在 23 段专家标注的协作学习对话上,两个中型 LLM 无需任务特定训练即可开展意义建构的多维分析,启用推理的提示词能纠正无推理时高估成功案例的偏差。知识状态诊断进一步提供依据,提升了失败意义建构的检出率以及与专家标注的一致度。没有任何单一配置在所有意义建构维度上表现最佳,凸显该任务的多维属性。

  3. arXiv cs.CL51

    研究评估 DeepSeek、Qwen、豆包在中文事实问答中的迎合行为

    该研究分析了 DeepSeek、Qwen、豆包三个中文大模型在 12,165 个来自真实中文搜索查询的是非事实问题上的迎合行为,覆盖 364,941 条回答。研究在有无推理两种模式下对比基线、用户信念注入和反迎合提示三种设置,并区分与错误信念一致的错误和由正确转为不确定的答案。结果显示推理并非一贯的防线,反迎合指令能在减少错误认同的同时增加不确定性。

  4. arXiv cs.CL28

    用扰动强度改进 LLM 解释的自一致性评估

    研究提出用 LLM-as-a-judge 统一衡量输入扰动与 CoT 扰动的强度,并在受控强度条件下评估多个 LLM 生成解释的自一致性。实验显示,该基于 LLM 的扰动强度度量优于嵌入向量和概率方法,且输入扰动对 LLM 的影响普遍强于 CoT 扰动。研究据此认为,只有在同一扰动类型内比较,对模型自一致性的判断才算公平。

  5. arXiv cs.CL35

    通过在线策略蒸馏实现推理的递归自我改进

    研究提出由 DCE 与 SRCL 构成的递归在线策略蒸馏框架,让特权教师模型与学生共同演化,在四个竞赛级数学基准上超越 OPSD。在 Qwen3-8B 上,DCE+SRCL 达到 65.97% Average@12,比 OPSD 高出 35.62 个百分点。SRCL 额外以模型自身在线响应更短、经核验的改写进行训练,使平均输出长度较仅用 DCE 减少 7.80%。

  6. AGI Hunt36

    国际象棋 AI 对手怎么「输得像人」?开发者探讨可信失误的设计难题

    一位开发国际象棋 AI 对手的开发者收到反馈:测试玩家吐槽 bot 失误得「有意图、要合理」——它把皇后撤离车攻击后,下一步又送回险地。其方案混合 Maia 与 Stockfish 加自定义选步规则,却常像两个不同棋手在轮流行棋。作者认为人类失误源于注意力焦点与执念而非随机走差,难点是建模「可信的盲点」和「思路的延续性」,又不变得可预测,帖子正征集同类经验。

  7. AGI Hunt38

    斯坦福研究者点破 LLM 验证软肋:「核查」无法形式化保证

    斯坦福研究者 Michael Zlin 指出,LLM 在科学发现任务中的「核查」环节无法形式化验证:即使模型生成的候选集覆盖足够,也没有任何机制能保证模型真的验证了一条声明,而不是生成一段听起来很流畅的验证文本。他认为输出流利不等于推理可信,形式化保证的缺失是当前 LLM 做科学验证的硬伤。

  8. AGI Hunt53

    研究:56 个 AI 基准×53 个模型,多项基准测不出宣称的能力

    一项大规模研究借鉴社会科学中的聚合效度与区分效度概念,对 56 个 AI 基准和 53 个模型进行系统检验,发现部分基准并未真正度量其宣称测量的能力。研究指出基准影响 AI 的使用、治理与部署决策,结论对当前评测体系的有效性提出质疑。研究同时公开发布了 53 个模型、56 项基准的逐题输出数据集。

9月26日周六
9月23日周三
  1. Towards Data Science48

    GRPO 如何用可验证奖励训练小语言模型

    GRPO 让模型对同一问题采样多次作答,用可验证奖励为每个答案打分,再以组内平均奖励为基线比较各次尝试来更新模型,无需单独的 critic。该方法由 DeepSeekMath 工作提出,用以替代传统 PPO 的内存开销,文中用「6 箱每箱 8 件、卖出 6 件、答案 42」的算术题演示打分与优势计算。组内奖励完全一致时优势全为零,模型无法判断该偏好哪次尝试。

  2. AWS Machine Learning Blog67

    GPT-6 Sol 与 GPT-6 Luna 在 Amazon Bedrock 正式可用

    OpenAI 的 GPT-6 Sol 和 GPT-6 Luna 在 Amazon Bedrock 正式可用,API 定价显著低于 GPT-5.6 前代。GPT-6 Sol 面向开发与运维中反复出现的复杂任务,GPT-6 Luna 面向大批量重复任务,两者都支持显式提示词缓存。OpenAI 的内部事实性评测显示,GPT-6 Sol 的事实性错误约为 GPT-5.6 Sol 的一半。

    推荐理由:两款模型按复杂任务与高频任务分层,API 定价低于 GPT-5.6 前代,可据此判断日常负载的选型。

9月16日周三
  1. Google Research37

    绕过推理瓶颈:Google Research 用 Retrieve-for-Train 加速复杂 AI 搜索

    Google Research 提出 Retrieve-for-Train 框架,用离线强化学习把奖励对齐的查询 fan-out 编译成监督信号,蒸馏进仅 53.9M 参数的扩散检索器,实现单次非自回归查询扩展。该框架微调 Gemma3-4B 和 Qwen3-4B,以集合级奖励评估整组结果,绕开零样本 LLM 的语义重复与数百个 CoT 推理 token 带来的自回归延迟。

9月8日周二
  1. OpenAI:官网动态87

    OpenAI 分享 AI 生成的纳维-斯托克斯千禧年难题解答与 Lean 形式化证明

    OpenAI 表示正在分享一份由 AI 生成的纳维-斯托克斯千禧年难题解答,包含一份说明文档和一份 Lean 形式化证明。该条目目前只有这一句简要描述,未提供更多细节。

    推荐理由:AI 生成的纳维-斯托克斯千禧年难题解答以 Lean 形式化证明一并公开,读者可关注机器产出数学证明的呈现方式。

9月4日周五
  1. Google AI:DEV 作者专属28

    深度解析:Google Gemini 3.8 模型及其技术能力

    Google Gemini 3.8 模型强化了推理与自然语言理解能力,可实时处理数据并提供即时反馈,适用于客户支持自动化、金融数据分析与医疗诊断等场景。对哥伦比亚、西班牙及 LATAM 的企业而言,采用时需权衡成本效率、部署速度与文化适配。Norvik Tech 建议先确定具体用例并开展试点项目,衡量效果后再推进集成。

9月2日周三
  1. HuggingFace Blog46

    BenchMIRT:LLM 基准测试究竟在测什么?

    BenchMIRT 是一种在单条 prompt 层面审计 LLM 基准测试的新方法,基于多维 IRT。它用 100 个 LLM、16 个 benchmark、超 34K 道题的结果训练,未被告知各 benchmark 测什么,却独立恢复出安全与通用推理两大维度。分析还发现 BBQ、WMDP 的得分更贴近通用推理而非安全。

8月29日周六
8月25日周二
8月22日周六
8月21日周五
8月12日周三
8月11日周二
7月30日周四
  1. HuggingFace Blog41

    GPU 管理:为什么闲置 GPU 正成为新的“停场飞机”

    企业 AI 的下一道真实约束已从模型智能转向 GPU 利用率:GPU 按日历小时计成本,产出却只按计算小时计。这与航空业靠飞机利用率决定生死的结构一致,自购 GPU 可把随 token 线性增长的 API 成本换成固定资本支出。但按峰值规模采购的集群在需求不持续时,满载 GPU 仍会浪费大量产能。

7月29日周三
7月15日周三
  1. HuggingFace Blog79

    Thinking Machines 发布开源多模态模型 Inkling 及 Inkling-Small

    Thinking Machines 发布开源多模态模型 Inkling,总参数 975B、激活 41B,支持 1M 上下文并原生接收图像、音频和文本输入。同期推出 Inkling-Small(总参数 276B、激活 12B),采用与 Inkling 相同的架构。

    推荐理由:约 1T 参数的开源多模态模型,文章给出多个推理引擎的部署配置和基准对比,便于判断它能否落到现有工作流。

7月11日周六
  1. Dwarkesh Patel:Podcast & Blog37

    Adam Brown:广义相对论的深入浅出导论

    Adam Brown 在 Dwarkesh Patel 播客中深入浅出讲解广义相对论,并延伸到黑洞与 AI 能否从零重新发现该理论。他现任 Google DeepMind BlueShift 负责人,节目从等效原理、爱因斯坦的“最快乐的思想”讲到黑洞与坠入黑洞的观察者体验,结尾讨论 AI 在缺乏实验证据下能走多远。

7月8日周三
  1. HuggingFace Blog67

    vLLM 的 transformers 建模后端实现原生推理速度

    Hugging Face 表示 vLLM 的 transformers 建模后端现已在多个 LLM 架构上达到甚至超过 vLLM 手写原生实现的吞吐。对比覆盖 Qwen3 4B 单卡、32B 张量并行、235B FP8 MoE 数据加专家并行三种部署,模型只需加 --model-impl transformers 即可启用,且仍可用于训练。

    推荐理由:文章给出 transformers 后端与 vLLM 原生实现在三种 Qwen3 模型上的吞吐对比,便于了解免移植推理的实现路径。

7月2日周四
6月27日周六