GTA-RAG：图轨迹增强的多轮检索增强推理强化学习框架

GTA-RAG 是一个用于多轮检索增强推理的图轨迹增强强化学习框架。它从实体-文档图采样连通文档路径，合成多跳问答轨迹并用检索器验证，以提供可执行的轨迹级监督。实验表明，GTA-RAG 在多个基准上优于基于强化学习的 RAG 基线，并显著提升证据链覆盖率。代码已开源。

现有强化学习 RAG 方法通常仅使用最终答案奖励，监督稀疏且忽略证据链获取。GTA-RAG 通过轨迹级监督，在训练中显式鼓励模型检索目标证据文档，提升了多跳推理中证据链的覆盖率和答案准确性，为智能体 RAG 训练提供了新思路。

GTA-RAG 从实体-文档图采样连通路径，生成多跳问答轨迹，并用部署的检索器验证轨迹的可执行性，从而获得轨迹级监督信号。训练时采用 GRPO 和轨迹引导奖励，同时优化答案准确率和目标证据文档的获取，再在自然问答实例上进行答案奖励训练，形成两阶段训练流程。

对构建多跳问答、复杂推理类产品的团队，GTA-RAG 可提升检索智能体的证据利用效率和回答质量。其开源代码可降低尝试成本，但需注意其训练依赖标注轨迹和检索器验证，可能增加数据处理和训练复杂度，适合有强化学习基础的研究或产品团队。

• 评估将 GTA-RAG 应用于内部知识库问答产品，以提升多跳问题的答案准确性和证据可追溯性。
• 基于其开源代码，构建针对特定垂直领域的检索智能体训练流程，并比较现有 RAG 基线的效果提升。
• 探索将轨迹级奖励机制引入现有 RAG 微调管线，以增强复杂场景的检索策略。
• 集成 GTA-RAG 至客服或研究助手类产品，提升对多文档推理类用户查询的响应质量。

• GTA-RAG 在真实生产环境中的检索延迟和成本影响未见报告。
• 除 Qwen2.5 系列外，其他 LLM 上的泛化效果未被验证。
• 轨迹合成和验证的额外训练开销尚未量化。
• 长篇或多跳问题中的上限表现缺少与更先进非 RL 方法的对比。