François Fleuret 提出对齐三步法：预训练阶段融入大量 RL、为每个 token 标注「想/说」

前 Meta/Apple 研究科学家 François Fleuret 提出个人对齐方案：预训练阶段就应包含大量 RL，让模型从一开始就「说话」。每个 token 都被标注为「heard（听到）」「thought（想）」或「said（说）」三类。再由一个「母模型」只对「说出口」的句子进行鼓励或批评，内心想法不惩罚，从而让模型「想得自由、说得负责」。