小模型只喂答案也能涨分，化学基准被曝存捷径

开发者 tak3sh8 在用小模型对某化学数据集做 SFT 时发现，仅提供选择题正确答案、不含解题过程，模型也能学到不少化学知识并提升表现。深入排查后他确认该数据集存在多处捷径，后续推文指出其他化学题也有类似问题。最终结论是这个化学基准现状相当糟糕，使用时需警惕模型靠捷径而非真实化学理解拿分。