Reddit 讨论：模型训练是不是「过拟合」杀死了创造力

Reddit 上一名用户认为，GPT-2 时代模型更有创造力，当前模型在庞大训练数据上拟合过度，在测试分布上表现极强（尤其代码）却难以泛化出真正的创造性。他提问：若采用最新训练配方但故意「欠火候」、在巨量数据上「少拟合一些」，模型是否会更擅长创意写作而更差于编程，并向社区征集训练轮数、学习率等参数的看法。