曝疑似大模型评测套用缓存答案:6.1 sol、6 astra 被指「dirty looping」
AI 评测账号 scaling01 发帖「spot the looper」,指 6.1 sol 和 6 astra 在 benchmark 中疑似直接套用缓存答案、循环输出而非真实推理,即所谓「dirty looping」。对比中 5.6 luna/sol 与 6 luna/sol 均无问题,只有这两个版本被标为可疑(SUS),由此引发对评测作弊的质疑。
AI 评测账号 scaling01 发帖「spot the looper」,指 6.1 sol 和 6 astra 在 benchmark 中疑似直接套用缓存答案、循环输出而非真实推理,即所谓「dirty looping」。对比中 5.6 luna/sol 与 6 luna/sol 均无问题,只有这两个版本被标为可疑(SUS),由此引发对评测作弊的质疑。
一位 Reddit 用户实测 MiniMax-H3 的发音能力,用「camel toes」「cameltoes」以及 toze、tohz、tows 等多种拼写组合测试,模型都念不对。该用户开玩笑称,怀疑模型内置了刻意加缺陷的机制,好让用户为「完整版」付费。
开发者 ssh4net 实测 Anthropic 新模型 Opus 5.5,速度明显提升,也能较好遵循既定编码规范,但倾向于按自己的意图写代码,常无视技术规格自行改写。这导致用户需要额外一轮代码审查和返工,抵消了速度带来的收益,并引发社区对其实用性的讨论。
Reddit 用户实测用 Sol 6.1 Max 在 Blender 里写游戏代码失败,修了十分钟后仍救不回来。该用户原本指望 Sol 6.1 Max 顶替 Astra、从而接受用量缩水,但两张截图显示从起步就彻底失败、十分钟后效果依旧糟糕。作者的结论是「Sol 6.1 Max + Blender 做游戏」不可行,不足以弥补限制下调。
作者用 Claude Opus 以 one-shot 方式复刻了任天堂红白机经典越野摩托游戏 Excitebike,全程无需多轮修改,展示了 Opus 的单次代码生成能力。
Claude Opus 5.5 本周发布,以 88.4% 领跑 SimpleBench,并因讲解视频在时间线上刷屏。在 Terminal-Bench-Science 上,其得分从 low 档的 24% 升至 xhigh 的 62%,max 档回落到 59%;视觉评测中被列为 Anthropic 迄今最强视觉模型,成本比 Fable 5.1 低约 60%。
博主 FinanceYF5 用一条挑衅式提示词实测 Opus 5.5(开启 Max effort),要求生成一段充满动感的 15 秒动态图形视频。随后他用相同提示词在 Grok 4.7 Fast(xhigh effort)上重跑,形成两家模型动态图形生成能力的直接对比。
博主 FinanceYF5 用同一条提示词对比 Opus 5.5 的 Max effort 与 Grok 4.7 Fast 的 xhigh effort 生成动态图形视频:提示词要求制作一段 15 秒的动感动态图形视频,展示其作为顶级动态设计师的实力。两条视频可对照看两家模型在动态图形生成上的风格与质量差异。
物理学者 jwuphysics 测试了 Claude Sonnet 生成纯 JavaScript 动画的能力,并晒出生成结果,演示中模型直接生成不依赖库的 JS 动画,展示其在可视化与动画代码上的水平。帖子本身信息简短,实质内容集中在视频演示。
Reddit 用户援引 Intelligence Index 数据称,Sonnet 5.5 单次输出 4.1 亿(410M)输出 token,是「最啰嗦」的模型,并附上评测数据截图。发帖者随后追问该模型是否仍值得使用、有没有人试用过,以及和 LunaMax 相比体验如何。
Reddit 用户观察到 Claude Opus 5.5 与 Sonnet 5.5 表现均超过 OpenAI 的 Sol 和 Astra,认为这让明日 OpenAI Dev Day 的看点更足。
开发者 amaarora 实测大语言模型能否按其质量标准生成 AWS 架构图,初步结果显示 Opus 5.5 生成的架构图质量惊艳、表现「非常非常好」。实验同步开展人类评审与 LLM 评审的对齐工作,以保证评价结果可靠,目前已进入人机评审对齐阶段,后续结论仍待进一步验证。
Roboflow 发布长文评测称 GPT-6 Astra 是其测试过的最强视觉模型,在 Roboflow Vision Evals 目标检测任务上低推理档位即达 82.1% mAP@50,领先 Qwen3.8 Max 5.4 分、领先 GPT-5.6 Sol 13.7 分。
由 Meta Superintelligence Labs、斯坦福与哈佛推出的 ProgramBench 基准更新,agent 需依据编译后的二进制文件与文档从零架构并实现完整代码库以复现原程序行为,共 200 个任务,以隐藏行为测试判定是否完全解决。
Reddit 用户用复刻《Bad Apple》的高难度任务压测发现,只有 Opus 5.5 与 GPT-6 Astra 接力协作才能完成:Opus 5.5 单独上手效果出人意料地好,能自发建立方法论、评分与对比工具体系,但在视觉细节上频繁幻觉。单独从零开始的 GPT-6 Astra 完全做不好、还反复试图作弊,接手 Opus 5.5 的中间成果后却多个片段一次通过、无需反馈,转场处理尤其出色。
测评机构对 Sonnet 5.5 的写作表现做了量化测试,其平均阅读年级为 6.9,在所测模型中最易读。中等算力档中 Sonnet 5.5 为 7.12,低于 Opus 5.5 的 7.28、GPT-6 Sol 的 7.71 和 Luna 的 8.01,数值越低越易读。
Claude Opus 5.5 破折号使用量较 Opus 5 下降约 95%,每 1,000 个单词从 15.2 个降至 0.8 个,分号下降 73% 至 1.64 个。
GPT-6 Astra 帮助 Parallel 的智能体将劳动力市场数据的调研与综合时间及成本各削减一半,对比对象为此前使用的模型。