热点事件持续更新
RVL-CDIP 数据集存在严重数据质量问题
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
针对文档分类基准 RVL-CDIP 的数据质量问题，arXiv 上一项系统性审计给出了量化结果：约 40 万份文档中约 10.5% 的标签错误，测试集有 35.2% 与训练集存在重复或近重复。审计还发现，仅凭页面识别码就能达到 69% 的分类准确率；SOTA 模型去掉该后处理后会损失 11 分，纯图像模型跨源下降 16 至 28 分。这些结果说明，该基准上的既有分数可能被高估，需重新评估。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
系统审计显示 RVL-CDIP 约 10.5% 标签错误、测试集 35.2% 与训练集重复，SOTA 分数或遭高估。报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv cs.CVRVL-CDIP 数据质量系统性审计
对文档分类基准 RVL-CDIP 的系统性审计发现，其 40 万份文档约 10.5% 标签错误，测试集 35.2% 与训练集存在重复或近重复。页面识别码单独即可达 69% 分类准确率，SOTA 模型缺少后损失 11 分；纯图像模型跨源下降 16 至 28 分。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。