PrismGPT：代理引导学习实现区域感知修图与自合成推理

arXiv 论文提出 PrismGPT，一个 Vision-Language Model 框架，可从单张输入图像生成结构化的、区域感知的修图计划，不依赖商业黑盒工具。它用代理引导学习解决组合决策空间过大的问题：由操作分解与区域美感排序两个代理任务打基础，再用基于能力的动态调度器自动调整多任务比例，逐步把重心转向主编辑任务。训练所用推理轨迹由同一基座模型自合成，无需更强外部教师。在 MIT-Adobe FiveK 与新建专业修图基准 SPIRE 上取得 SOTA，训练数据约为此前最佳方法的 6%。

此前自动化修图方法只能部分覆盖“全局调整加局部语义掩码编辑”的专业流程，且常依赖商业黑盒工具；该工作把全局与局部诊断、编辑参数预测统一到一个可自训练的 VLM 框架内，并以约 6% 训练数据达到 SOTA，降低了对外部强教师模型与大规模标注的依赖。

专业修图同时包含全局与局部决策，组合空间极大，直接训练 VLM 难以收敛。该方案先用操作分解与区域美感排序两个更简单的代理任务教会模型基础能力，再用基于能力的动态调度器自动重新平衡多任务训练比例，随着技能掌握逐步把权重移向主编辑任务；同时用同一基座模型自合成监督微调所需的推理轨迹，避免依赖更强外部教师。

对修图类产品与影像工具而言，该方向意味着可在不调用商业黑盒接口的情况下生成结构化区域编辑计划，并显著压缩训练数据与教师模型成本。研发上可复用“代理任务加动态调度加自合成推理”的训练范式，产品上可把全局与局部编辑统一为可解释的编辑计划输出，便于用户审阅与二次调整。

• 在修图或影像 SaaS 中试验结构化区域编辑计划输出，让用户逐条确认全局与局部调整，而非一次性黑盒出图。
• 复用代理任务加动态调度的训练范式，用少量自有数据微调垂直场景（如电商、人像）的修图模型，降低标注与算力预算。
• 用自合成推理轨迹替代外部强教师模型，构建内部可迭代的编辑数据闭环，减少对第三方模型的接口依赖。

• SPIRE 基准的构成、规模与评测协议在摘要中未给出，需查看论文确认其代表性。
• 自合成推理轨迹的质量上限与错误累积风险尚未被证据说明。
• 约 6% 训练数据的对比基线具体是哪一方法、在何种设置下成立尚不明确。
• 该方法在真实商业修图流程中的延迟、可控性与用户接受度缺乏证据。