arXiv cs.AI· Roshan Reddy Upendra, Alexandre Dorais, Joe Meyer, Andrew Pouret, Anastasios Lambrianos Stappas, Dinesh Katupputhur Ramprasath, Viswanath Ganapathy, Tom Palczewski, Minghua Li·· 4 小时前AI 评分26
关系基础模型上下文学习中的支撑集目标泄漏：模型依赖性与评估可靠性
Support-Set Target Leakage in Relational Foundation Models during In-Context Learning: Model Dependence and Evaluation Reliability
AI 导读
研究在 13 个 RelBench 任务与 5 种关系 ICL 配置上测试 20 个目标派生特征，0-hop 目标表与包含全部 20 个泄漏列的 Full 泄漏造成最大评估偏差。泄漏影响高度依赖任务与模型，聚合变化很小时也可能反转模型变体的相对结论。Integrated Gradients 筛查在 0-hop 与 Full 条件下排序质量最佳，但删除检出的泄漏列不能稳定恢复干净评估。
来源：arXiv cs.AI · arxiv.org