AGI Hunt· jd_pressman·· 3 小时前AI 评分25
jd_pressman 晒对齐路线图:Weave 算法加 Gillen 量化器双管治理 Goodhart
AI 导读
jd_pressman 晒出对齐路线图:用 Weave 算法应对因果性 Goodhart,用 Gillen 量化器应对极端 Goodhart。Gillen 量化器源自 SERI ML 对齐理论学者项目,让 agent 了解目标表示的可靠性并据此限制优化功率。他认为价值加载主要是数据问题,司法与经济数据噪声最小、信号价值最高;对抗样本与越狱抵抗暂列低优先级。
来源:AGI Hunt · agihunt.info