arXiv cs.CL· Phuong Q. Le, Kemal Kurniawan, Jey Han Lau·· 2 天前AI 评分28
用扰动强度改进 LLM 解释的自一致性评估
Enhancing Assessment of Self-Consistency in LLM Explanations using Perturbation Strength
AI 导读
研究提出用 LLM-as-a-judge 统一衡量输入扰动与 CoT 扰动的强度，并在受控强度条件下评估多个 LLM 生成解释的自一致性。实验显示，该基于 LLM 的扰动强度度量优于嵌入向量和概率方法，且输入扰动对 LLM 的影响普遍强于 CoT 扰动。研究据此认为，只有在同一扰动类型内比较，对模型自一致性的判断才算公平。
来源：arXiv cs.CL · arxiv.org