面向持续演进的企业 AI Agent 技能的过程级持续评估

一篇 arXiv 论文提出面向企业 AI Agent 技能的持续评估框架，将结果级检查与过程级检查结合，独立计算每次运行的 ground truth，并生成可复用模板测试，对工具选择、参数、执行顺序和数据库完整性进行检查。论文在 Revenue 与 Productivity 两个技能上评测 240 次试验。在通过全部适用最终数值检查的 175 次试验中，162 次（92.6%）仍存在其他偏差。

此前企业多依赖最终输出数值判断 Agent 是否正确，该论文显示这种方式会遗漏大量过程偏差：即便最终数值全部通过，仍有约九成运行存在工具选择、参数或执行顺序等问题。这说明评估对象需要从单一结果扩展到轨迹，否则隐患难以暴露。

技能会随工具 API、模型和规格变化而演进，最终输出可能仍正确，但中间步骤已经漂移。该框架通过程序化检查和范围受限的 LLM judge，对每次运行独立生成 ground truth，并将失败检查归因到依赖根因，从而把不可复用的输出比对转为可复用的模板回归测试。

对企业产品与研发而言，仅看最终答案的测试集可能给出虚假通过，需在回归体系中加入工具调用、参数与执行顺序检查。模板化测试可用于不同模型和 harness 的横向对比，帮助定位规格变更带来的偏差，但也增加评测与根因归因工作量。

• 在企业 Agent 测试平台中加入过程级检查项，覆盖工具选择、参数、执行顺序和数据库完整性。
• 将运行中解析的模板测试固化为跨模型、跨 harness 的回归套件，用于版本升级前的对比验证。
• 为评估结果增加依赖归因面板，把每个运行的多个失败检查收敛为少量根因，降低排查成本。

• 该框架在真实 API 长期演进场景下的纵向验证效果尚未完成。
• LLM judge 的范围与判定偏差如何校准，证据未说明。
• 过程级检查的误报率和漏报率未在证据中给出。
• 该框架对其他企业技能或行业的可迁移性尚未验证。