曝疑似大模型评测套用缓存答案:6.1 sol、6 astra 被指「dirty looping」
AI 评测账号 scaling01 发帖「spot the looper」,指 6.1 sol 和 6 astra 在 benchmark 中疑似直接套用缓存答案、循环输出而非真实推理,即所谓「dirty looping」。对比中 5.6 luna/sol 与 6 luna/sol 均无问题,只有这两个版本被标为可疑(SUS),由此引发对评测作弊的质疑。
AI 评测账号 scaling01 发帖「spot the looper」,指 6.1 sol 和 6 astra 在 benchmark 中疑似直接套用缓存答案、循环输出而非真实推理,即所谓「dirty looping」。对比中 5.6 luna/sol 与 6 luna/sol 均无问题,只有这两个版本被标为可疑(SUS),由此引发对评测作弊的质疑。
Claude Opus 5.5 本周发布,以 88.4% 领跑 SimpleBench,并因讲解视频在时间线上刷屏。在 Terminal-Bench-Science 上,其得分从 low 档的 24% 升至 xhigh 的 62%,max 档回落到 59%;视觉评测中被列为 Anthropic 迄今最强视觉模型,成本比 Fable 5.1 低约 60%。
ornith-ai 在 Hugging Face 发布三个 DFlash 草稿模型检查点,为 Ornith-1.5-9B、Ornith-1.5-397B 和 Ornith-1.5-35B-A3B 提供投机解码加速。DFlash 草稿模型并非独立语言模型,须与目标模型在支持 DFlash 的推理环境中配合运行,仓库同时附带 serving 配置。
Claude Opus 5.5 以 88.4% 领跑 SimpleBench,推理强度提到 xhigh 时 Terminal-Bench-Science 由 24% 升至 62%,但 max 反降到 59%。它被评为 Anthropic 史上最佳视觉模型,成本比 Fable 5.1 低约 60%。Opus 5.5 与 GPT-6 Astra 还能纯用代码生成视频动画。
ValsAI 让十个 Claude Sonnet 5.5 智能体使用 Lean 定理证明器,在 15 小时内证出球面上七个电子的最低能量排布(Thomson 问题,N=7)。它们产出 17,895 行形式化证明并被 Lean 内核接受,结论为五角双锥构型。
Anthropic 发布 Claude Opus 5.5,约一小时后 OpenAI 发布 GPT-6 Sol 与 GPT-6 Luna,Simon Willison 记录了自己对这些新模型的定价观察与实测表现。
推荐理由:文章给出 Claude Opus 5.5、GPT-6 Sol 与 Luna 的最新定价和实测表现,可以看清这轮模型降价对调用成本的直接影响。
OpenAI 的 GPT-6 Sol 和 GPT-6 Luna 在 Amazon Bedrock 正式可用,API 定价显著低于 GPT-5.6 前代。GPT-6 Sol 面向开发与运维中反复出现的复杂任务,GPT-6 Luna 面向大批量重复任务,两者都支持显式提示词缓存。OpenAI 的内部事实性评测显示,GPT-6 Sol 的事实性错误约为 GPT-5.6 Sol 的一半。
推荐理由:两款模型按复杂任务与高频任务分层,API 定价低于 GPT-5.6 前代,可据此判断日常负载的选型。
NVIDIA CEO 黄仁勋在 Salesforce Dreamforce 与 Marc Benioff 同台,Salesforce 同期发布首个 CRM 推理模型 Koa,基于 NVIDIA Nemotron 3 Super 后训练构建。
Google Gemini 3.8 模型强化了推理与自然语言理解能力,可实时处理数据并提供即时反馈,适用于客户支持自动化、金融数据分析与医疗诊断等场景。对哥伦比亚、西班牙及 LATAM 的企业而言,采用时需权衡成本效率、部署速度与文化适配。Norvik Tech 建议先确定具体用例并开展试点项目,衡量效果后再推进集成。
IBM Granite 团队发布 Granite 4.2 推理模型系列,包含 3B、8B、30B 三个 dense、decoder-only 规模,全部以 Apache 2.0 许可开放。
推荐理由:原文公开了从五阶段预训练到多阶段 RL 的完整构建配方,可对照其他推理模型的开源训练路径。
Liquid AI 发布 LFM2.5-DSpark 草稿模型检查点,覆盖 LFM2.5-1.2B-Instruct、LFM2.5-2.6B 和 LFM2.5-8B-A1B 三个模型,通过投机解码在不改变输出质量的前提下最高提升 3.18 倍吞吐。
Thinking Machines 发布开源多模态模型 Inkling,总参数 975B、激活 41B,支持 1M 上下文并原生接收图像、音频和文本输入。同期推出 Inkling-Small(总参数 276B、激活 12B),采用与 Inkling 相同的架构。
推荐理由:约 1T 参数的开源多模态模型,文章给出多个推理引擎的部署配置和基准对比,便于判断它能否落到现有工作流。
Mistral 发布 Leanstral 1.5,一个 Apache-2.0 许可、119B 总参数与 6B 激活参数的形式化验证模型,在 miniF2F 验证集和测试集上均达到 100%。
推荐理由:可对照 Leanstral 1.5 在 PutnamBench 的解题数与约 4 美元单题成本,比较形式化证明模型的性价比。
Google DeepMind 发布 Gemini Robotics-ER 1.6,这款面向机器人的推理模型增强了空间推理与多视角理解,并新增仪表读数能力。官方称其在指向、计数和任务成功检测上相比 Gemini Robotics-ER 1.5 和 Gemini 3.0 Flash 有明显提升。
Google DeepMind 发布 Gemma 4 开源模型家族,提供 E2B、E4B、26B MoE 和 31B Dense 四种尺寸,采用 Apache 2.0 许可。
推荐理由:原文列出四档尺寸、Arena 排名与 Apache 2.0 许可,便于判断本地部署和微调的硬件与授权取舍。
Mistral AI 发布 Mistral Small 4,称其是首个把 Magistral 的推理、Pixtral 的多模态和 Devstral 的编码智能体能力统一进单一模型的 Mistral 模型,以 Apache 2.0 许可开源。
推荐理由:Mistral Small 4 把推理、多模态与编码能力合进一个开源模型,读者可据此评估单模型替代多模型组合的部署取舍。
Mistral 发布 Leanstral,首个面向 Lean 4 的开源代码智能体,Apache 2.0 开源并提供免费 API。该模型激活参数 6B,采用稀疏架构,支持任意 MCP,并针对 lean-lsp-mcp 训练,也可在 Mistral vibe 的 agent 模式中使用。
Mistral 发布 Mistral 3 模型家族,包含稀疏 MoE 的 Mistral Large 3(41B 激活、675B 总参数)与三款密集小模型 Ministral 3(3B、8B、14B),全部以 Apache 2.0 开源。
推荐理由:Mistral 3 一并公布参数规模、开源许可与硬件适配方案,读者可据此对照自身部署条件判断选型。
Mistral AI 发布首个推理模型 Magistral,分为 24B 参数的开源版 Magistral Small 和企业版 Magistral Medium。
推荐理由:原文列出两档模型的 AIME2024 分数、开源许可与部署渠道,便于比较开源推理模型的落地方式。