化学基准被曝捷径：只喂答案也能涨分

2026 年 10 月 6 日，AGI Hunt 报道，开发者 tak3sh8 在用小模型对某化学数据集做监督微调（SFT）时发现，即便只提供选择题的正确答案、不包含任何解题过程，模型也能学到不少化学知识并提升表现。他随后深入排查，确认该数据集存在多处捷径；此后的推文进一步指出，其他化学题也存在类似问题。最终结论是，这个化学基准的现状相当糟糕，使用时需要警惕模型靠捷径而非真实的化学理解拿分。报道未披露该化学基准及数据集的具体名称，也未说明捷径的具体形式与受影响题目的数量。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。