AGI Hunt· Joss Armstrong·· 2 小时前AI 评分42
合成数据溯源研究:改写后来源识别从 98.7% 骤降至 29.0%,且溯源无助于挑数据
合成数据溯源研究:改写后来源识别从 98.7% 骤降至 29%,且溯源无助于挑数据
AI 导读
合成数据溯源研究发现,金融风险文本上原始生成段落的生成器归属准确率达 98.7%,改写后降至 53.1%,风格重写后仅 29.0%。三轮生成-重训实验比较基于来源信息与基于独立参考模型打分的两种选样规则,选出的样本不同,但未检测到模型退化的稳定差异。结论是识别数据来源与识别数据有用性是两个独立问题,溯源分数不足以预测递归训练行为。
来源:AGI Hunt · agihunt.info