别读日志：执行轨迹污染视频生成智能体的验证器

一篇 arXiv 论文研究智能体式视频生成中生成器与验证器的闭环。研究者在 109 条带人工标注的双事件视频片段上，向多模态评审模型额外提供执行轨迹、计划等文本信息，同时保持画面不变。结果显示，报告工具调用成功的轨迹使三个开源 Qwen-VL 评审模型（7B、8B、32B）把 78%–90% 的失败片段误判为通过，无文本时仅为 7%–19%。

此前评测多关注生成质量与提示词，而这份证据指出评测环节本身会被与被测画面无关的文本带偏。仅凭“工具调用成功”的日志，就能让开源评审模型大规模放行明显失败的片段，说明自动验证结果在闭环系统中可能不具备可信度。

多模态评审模型在训练中形成了对工具日志的信任：轨迹中的成功或失败表述与画面无关，但仍会改变评审模型的判定阈值。由于计划类文本不携带具体片段信息，它只能整体移动判定点。在修复循环中，这种偏移会变成真实通过率的上限，任何修复策略都无法突破，论文称模拟结果与该上限精确到两位小数吻合。

若产品用 LLM 或 VLM 作为视频生成流程的自动质检或奖励信号，加入执行日志、计划、旁白等文本上下文可能系统性抬高通过率，掩盖真实缺陷。研发需分离画面证据与文本证据，并单独测试评审在只有画面输入时的判定表现，否则修复循环可能空转并浪费算力。

• 在视频生成流水线中增设“纯画面”评审通道，屏蔽工具日志与计划文本，并与带文本评审结果对照监控偏差。
• 建立评审模型对工具日志敏感度的回归测试集，使用人工标注的成败片段衡量误放行率与误拒绝率。
• 对修复循环设置真实通过率上限告警，当自动通过率显著高于人工抽检通过率时触发人工复核。

• 该结论在闭源前沿评审模型上是否完全成立，以及是否存在其他模型家族同样免疫。
• 当工具日志与画面矛盾时，是否可通过提示词工程或结构化输出约束彻底消除污染。
• 在更长、多事件的视频工作流中，轨迹污染对通过率上限的影响是否与双事件片段一致。
• 论文所述修复循环中自动通过率 1.00 与人工标注通过率 0.28 的差距，是否在不同生成模型上可复现。