T-DIG 训练配方：以多样性为奖励、以 VQA 与 HPSv3 为惩罚防止 reward hacking

T-DIG 训练配方让 LLM 政策基于基础提示词生成多样化提示词，以沿请求变化轴的多样性（TPIPS）为奖励、VQA 与 HPSv3 为惩罚，依生成图像信号训练。团队展示的典型 reward hacking 案例显示，仅用多样性奖励时政策会偏离基础提示词，生成空白图或堆砌过多元素，因此惩罚项必不可少。