多轮在线策略蒸馏：基于前缀重放的离环境学习方法

研究提出ReOPD方法，用于多轮在线策略蒸馏（OPD）中替代全在线交互。ReOPD通过重用预收集的教师轨迹作为重放前缀，学生仅在某些步骤行动，教师提供密集监督而不执行新环境交互，解决了因学生分布与教师可靠性偏移导致的“前缀陷阱”。实验表明，在数学推理和搜索环境中，ReOPD保持或提升OPD准确性，零工具调用，每个rollout速度快4倍以上。

此前多轮在线策略蒸馏需要每次更新都进行学生与环境交互和教师查询，成本极高。ReOPD将昂贵的在线交互转化为离线可重用资源，在相同或更高准确率下将训练速度提升4倍以上，显著降低了智能体训练的成本和门槛。

ReOPD将多轮OPD视为一个可靠性感知的前缀分布设计问题。通过步骤衰减采样调度，优先使用早期、偏移较小的教师轨迹作为前缀，避免在教师目标不可靠的历史上查询，从而在保持学生在线相关性的同时保证监督质量。这使学生无需执行真实环境交互即可获得密集的逐步骤监督信号。

产品团队可大幅降低基于LLM的多轮Agent训练成本：不再需要每次更新都启动真实环境模拟或调用高价教师模型；训练速度提升4倍以上，使小团队也能进行高频迭代；且零工具调用减少了API开销。但需要预先收集高质量的教师轨迹。

• 开发基于ReOPD的Agent训练框架，复用历史轨迹低成本训练学生模型，适合客服、搜索等场景
• 构建跨工具和环境的蒸馏流水线，利用现有教师轨迹批量提升多个小模型的多轮推理能力
• 将ReOPD集成到RLHF微调流程中，替代部分在线采样，减少人工标注和API成本
• 为数学证明、代码生成等需多步推理的任务提供离线蒸馏服务，提升学生模型准确性

• ReOPD在更复杂、更长交互任务（如多步工具调用、多Agent对话）中的表现如何？
• 步骤衰减采样调度的超参数如何在不同任务中高效调优？是否有通用的默认设置？
• 教师轨迹的质量（如多样性、覆盖度）对ReOPD效果的影响有多大？
• ReOPD是否适用于非代码/非搜索环境（如多模态、机器人控制）的多轮蒸馏？