跳到正文
原文
arXiv cs.AI· Joran Leest, Ilias Gerostathopoulos, Claudia Raibulet, Patricia Lago·· 4 小时前AI 评分31

分布偏移下的反事实模型测试:区分偏移来源以估计模型性能

Counterfactual Model Testing Under Distribution Shift

AI 导读

研究提出将分布偏移下部署模型的性能退化问题表述为在线模型测试,需在带已知标签的受控基线上复现偏移。方法分别复现来自总体变化与特征流水线数据完整性问题的两类偏移机制,以估计当前性能及修复数据问题的潜在收益。真实数据集加模拟故障的实验显示,区分两类偏移来源通常能改善两项估计;流失预测案例展示了其用于安排监控与修复优先级。

来源:arXiv cs.AI · arxiv.org