NVIDIA 演示本地云端混合推理智能路由

2026 年 10 月 2 日，NVIDIA Developer 通过直播演示了混合 AI 智能路由方案：在 Lenovo ThinkStation PGX（DGX Spark）上，由轻量 judge 模型评估每一个请求，实时决定将其发往本地模型还是云端推理。演示显示，借助 NVFP4 量化，单台设备可并发运行三个模型；配套仪表盘实时呈现各模型的吞吐量以及每次路由决策对应的成本曲线。演示还覆盖了混合部署下吞吐与成本的对比方法，以及对桌面级系统可承接工作量的估算。目前公开信息仅为该场直播演示本身，未涉及产品化或商用时间表。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。