NVIDIA 演示混合 AI 智能路由：judge 模型实时分配本地与云端推理

NVIDIA Developer 直播演示混合 AI 智能路由：在 Lenovo ThinkStation PGX（DGX Spark）上，轻量 judge 模型评估每个请求，实时决定发往本地模型还是云端。借助 NVFP4 量化，单台设备可并发运行三个模型，仪表盘实时显示各模型吞吐与每次路由决策的成本曲线。演示还覆盖混合部署的吞吐/成本对比方法与桌面级系统可承接工作量的估算。