AGI Hunt· lambdaviking·· 3 小时前AI 评分28
lambdaviking:梯度下降难学状态跟踪,或因样本复杂度高而非数据稀缺
梯度下降学难状态跟踪:或是样本复杂度太高而非数据稀缺
AI 导读
针对 X 上「模型为何难表现出硬状态跟踪」的讨论,lambdaviking 提出另一种解释:不一定是这类模式在预训练数据中罕见,而是这类相对简单的状态跟踪在梯度下降下样本复杂度更高、更难学到。作者承认这仍属推测性领域,其核心假设是数据规模未必是瓶颈,优化动力学可能才是。
来源:AGI Hunt · agihunt.info