AGI Hunt· RylanSchaeffer·· 4 小时前AI 评分36
Rylan Schaeffer 长线程论证 BPB 度量缺陷:tokenizer 三难困境无法全部满足
推文线程论证 BPB 度量缺陷:tokenizer 三难困境无法全满足
AI 导读
Rylan Schaeffer 在 11 条长线程中论证 BPB(Bits-per-Byte)评估度量的缺陷:BPB 只度量编码长度本身,学界却赋予它超出含义的解读。他指出更好的度量受 tokenizer 三难困境限制,三个合理诉求中最多只能满足两个,选择度量即隐含选择了能做哪些研究。他提出的猜想是,智能不在于压缩,而在于区分「正确」与「貌似合理但错误」的续写。
来源:AGI Hunt · agihunt.info