BITS 研究员拆解 LLM：同分不同解，是推理还是背题？

lossfunk 成员 Adya 的 reasoning-reliability 项目用三步方法区分 LLM 答对时是推理还是检索匹配。其 benchmark 通过改写题面、中途植入假值和三个独立探针判定每道题属「计算」还是「检索匹配」，再用机制可解释性查看开放权重模型内部表征。目前已在 5 个模型、3 类任务上取得初步结果，长期目标是为 AI agent 加可靠性层，按需触发验证循环或工具调用。