Dwarkesh 分析 AI 的数据黑洞与人类样本效率差距

Dwarkesh Patel 在博客文章中提出，近年 AI 能力的提升主要来自数据规模和算力的扩大，而不是训练样本效率的进步。他给出对比称，前沿模型训练使用 10 万亿到 100 万亿 token，而人类从出生到成年约见 2 亿 token，差距接近百万倍；即便参数量无限增加，所需数据也只减少约 10 倍。