ML 工程师复盘 97% 准确率分类模型上线一年后等同随机

一位 ML 工程师复盘公司案例，无 ML 背景的工程团队自建分类模型准确率达 97%+ 并因此获得晋升，模型在生产环境运行约一年后移交 ML 团队分析，发现其准确率与随机猜测无异。四个根因是未使用有信息量的特征、训练与测试集划分错误导致数据大量重叠使指标虚高、团队不知道需要做在线监控，以及缺少有真实 ML 经验的人做代码评审。最终只换来数月开发成本与资金的浪费。