AGI Hunt· vasuman·· 3 小时前AI 评分59
便宜模型跑 Agent 反而更贵:串行往返堆爆上下文窗口
便宜模型跑 Agent 反而更贵:线性往返堆爆上下文窗口
AI 导读
jdpruettt 指出,在 agent 框架里运行便宜模型,总成本常常反而高于前沿模型。经 RL 后训练、带有简洁性惩罚的前沿模型会激进使用并行工具调用,把多个步骤合并成批处理,而较弱的模型只能串行执行,每一步都要多跑一轮往返,几十次循环下来不断撑大上下文窗口。作者据此提醒,为 agent 选更便宜模型时,要把模型把多轮折叠成一轮的能力也算进这笔账。
来源:AGI Hunt · agihunt.info