AGI Hunt· AIFlow_ML·· 2 小时前AI 评分52
观点:模型回答快慢主要看内存速度而非算力,NVIDIA Rubin 内存速度反而更低
观点:模型回答快慢主要看内存速度而非算力,Rubin 反而降了
AI 导读
AIFlow_ML 提出一个简单规则:模型回答速度主要取决于内存速度而非算力。NVIDIA Rubin 架构在算力相当的情况下内存速度反而更低,因此单轮快速对话这类短交互场景的延迟感知会变差。作者给从业者的判断框架是:批处理吞吐看算力,交互式响应看内存带宽。
来源:AGI Hunt · agihunt.info