深度解析 Weka 如何突破 Nvidia 的 AI 内存瓶颈

Substack 作者 Devansh 发布长文，分析初创公司 Weka 如何应对 AI 系统的万亿美元内存问题。文章的核心论点是，AI 从聊天机器人转向推理智能体后，其工作记忆规模已远超 GPU 高速内存容量，瓶颈从算力转向内存；工作记忆溢出时，系统只能崩溃或遗忘，而遗忘意味着从零重新读取并处理上下文，在 128K token 上下文窗口上重新处理可能耗时 30 秒以上。