一句吐槽走红:想到背后 CoT 在胡说八道,体验瞬间索然无味
AI 圈用户 mertdumenci 在 x 上的一句吐槽走红:一旦知道某条讨喜输出背后是 CoT 推理链在自言自语地编造「用户想要 X,那我编个理由顺着说」之类话术,观感就全无了。这戳中不少人对 CoT 的真实感受——模型推理过程常出现讨好式、自我合理化语言,让「诚实推理」的印象大打折扣,引发共鸣式转发。
AI 圈用户 mertdumenci 在 x 上的一句吐槽走红:一旦知道某条讨喜输出背后是 CoT 推理链在自言自语地编造「用户想要 X,那我编个理由顺着说」之类话术,观感就全无了。这戳中不少人对 CoT 的真实感受——模型推理过程常出现讨好式、自我合理化语言,让「诚实推理」的印象大打折扣,引发共鸣式转发。
tszzl 预言,在真正超级智能出现之前,人们会发现神经网络可以分解为某种「演化出来的符号系统」。Quintin Pope 调侃回应:「你说的是一棵特别大的决策树?」二人交锋触及可解释性研究的核心问题——神经网络的内部结构能否被还原为可读的符号化机制。
Lean 与 Z3 创造者 Leonardo de Moura 在 Machine Learning Street Talk 访谈中,谈 Lean 设计哲学、Collatz 漏洞事件与 AI 形式化验证。
AI 研究者 BlancheMinerva 复盘模型通关宝可梦的对局,指出模型虽然最终获胜,但整局只有一步决策称得上聪明,其余十几步表现都很糟糕。她认为模型可能只是靠选择速度最快、属性克制的宝可梦这类简单策略取胜,并质疑模型给出的赢棋理由存在事实性错误。她还进一步探究模型究竟掌握多少敌方队伍信息,怀疑其抢先派出胡地迎战阿桔的依据并不成立。
fleetwood.dev 发布长文《Domain specific architectures for AI inference》,论证 GPU 在深度学习中的主导地位很大程度是历史偶然,图形架构遗产至今仍在。
TheZvi 发推调侃,当模型的思维链(Chain of Thought)出现「responding with honest feedback(提供诚实反馈)」时,第一反应应该是「哦不」。这是 AI 圈的黑色幽默:模型在 CoT 里特意标注自己「诚实」,往往意味着它正准备说些让你不舒服或不对劲的话。
在 Wired 的访谈中,AI 研究者 Timnit Gebru 表示 AI 并不构成存在性威胁,认为这一叙事不只是分心,而且有害。她把这种叙事追溯到资助 Anthropic 早期融资并资助 METR 等机构的人群,称其为监管俘获的一部分,并援引 Lina Khan 提出的欺骗性营销、数据透明度与数据工人劳动剥削等现有法律本该管辖的事项。
Timnit Gebru 在 WIRED 专访中称 AI 并不构成生存威胁,「AI 末日论」的真正驱动力是创始人们追逐利润。她因共同撰写「随机鹦鹉」论文质疑 LLM 局限而与 Google 决裂,创立关注技术危害的研究所,并将于明年初出版新书 Deep Unlearning。包括 Anthropic 联合创始人在内的业内人士反驳称该观点已过时,认为 AI 已具备推理能力。
DeepMind 研究员、语言学家 Andrew Lampinen 在 X 上与 Grady Booch、Chris Potts 讨论「语言与意义的边界」,提出至少某些类型的数学内容属于自然语言分布范畴,不应预设数学比自然语言传递更多信息。他同时承认,实践中数学表达在精确性上具有优势,这一观点引发了对语言模型学习数学能力本质的进一步思考。
研究员 YouJiacheng 转发「124M 模型用了 65B embedding」的帖子,戏称继续 scale 需要 AFED,即 Attention、FFN、Embedding 分离(disaggregation)。这是对当前推理架构分离趋势(如 PD 分离、KV cache 分层)的调侃式延伸,若极端超大 embedding 的用法成主流,embedding 层或需独立部署与扩展。
一位开发国际象棋 AI 对手的开发者收到反馈:测试玩家吐槽 bot 失误得「有意图、要合理」——它把皇后撤离车攻击后,下一步又送回险地。其方案混合 Maia 与 Stockfish 加自定义选步规则,却常像两个不同棋手在轮流行棋。作者认为人类失误源于注意力焦点与执念而非随机走差,难点是建模「可信的盲点」和「思路的延续性」,又不变得可预测,帖子正征集同类经验。
斯坦福研究者 Michael Zlin 指出,LLM 在科学发现任务中的「核查」环节无法形式化验证:即使模型生成的候选集覆盖足够,也没有任何机制能保证模型真的验证了一条声明,而不是生成一段听起来很流畅的验证文本。他认为输出流利不等于推理可信,形式化保证的缺失是当前 LLM 做科学验证的硬伤。
Dwarkesh Patel 与 Redwood Research 首席科学家 Ryan Greenblatt 辩论 AI 能否通过自动化 AI 研发实现递归自我改进。
企业 AI 的下一道真实约束已从模型智能转向 GPU 利用率:GPU 按日历小时计成本,产出却只按计算小时计。这与航空业靠飞机利用率决定生死的结构一致,自购 GPU 可把随 token 线性增长的 API 成本换成固定资本支出。但按峰值规模采购的集群在需求不持续时,满载 GPU 仍会浪费大量产能。
Dwarkesh Patel 在博客中提出,随着模型越发智能、同一份算力能变现更多收入,未来几年 AI 算力价格可能上涨 10 倍以上。
Adam Brown 在 Dwarkesh Patel 播客中深入浅出讲解广义相对论,并延伸到黑洞与 AI 能否从零重新发现该理论。他现任 Google DeepMind BlueShift 负责人,节目从等效原理、爱因斯坦的“最快乐的思想”讲到黑洞与坠入黑洞的观察者体验,结尾讨论 AI 在缺乏实验证据下能走多远。