RLHF 奠基论文回顾：1.3B InstructGPT 胜过 175B GPT-3

「用论文学 AI」系列回顾 RLHF 奠基论文：OpenAI 2022 年用人类反馈训练语言模型，得到 InstructGPT。先用标注员示范微调 GPT-3，再用人类排序做 RLHF；人类评估中 1.3B 的 InstructGPT 输出优于 175B 的 GPT-3，参数少 100 倍仍更受偏好。同时真实性提升、毒性输出减少，公开 NLP 数据集上几乎没有性能回退。