基于模型切片的协作学习与推理

研究者提出协作学习框架，用 model slicing 在相近参数预算下以更小的异构模型替换大模型，并以 Pyramid supervision 结合协议蒸馏与步骤级监督优化推理及协作决策。在多跳问答、数学推理、代码生成和开放式约束生成四类任务上，训练后的异构模型表现与原始大模型及现有多智能体基线（含强化学习方法）相当或更好，推理效率更高，并呈现差异化协作模式。