Agent 是系统而非模型：重新思考 Agent 评测

一篇 arXiv 论文提出，agent 评测不应再把 agent 当成固定模型，而应视为可配置系统。作者在四个科学任务的新基准上考察任务信息、推理、自我验证、时间预算和 backbone model 五个配置项，发现约 54% 的结果方差来自同一配置的重复运行。任务信息的影响最大，超过时间预算与模型规模，并能降低成本、改善校准。

此前 agent 评测通常把系统看作固定对象，只比较不同模型或单一成功率；该研究指出配置本身会显著改变表现与稳定性，且重复运行的方差占一半以上，意味着过往评测结论可能混淆了模型能力与配置差异。

Agent 的表现由提示信息、运行时长、验证方式、模型选择等多个可调部分共同决定。信息不足时，增加时间或换更大模型都难以发挥作用，说明这些配置项之间存在互补关系；同时，靠提示要求模型自我验证效果有限，而提供专门的验证工具能明显改变行为，表明某些能力更适合用系统结构而非语言指令来实现。

产品与研发团队在搭建 agent 时，应把信息供给、时间预算和验证工具作为可调参数统一管理，而不是只关注底层模型。评测流程需要多次重复运行并报告方差、成本与一致性，否则单次结果容易误导上线决策；针对验证环节，应优先投入工具化实现而非仅优化 prompt。

• 为 agent 产品建立配置化评测面板，记录任务信息、时间预算、模型与验证工具的组合，并输出多次运行的方差与成本指标。
• 把答案验证从提示词改为独立工具或检查模块，并对比两者在正确率与稳定性上的差异。
• 针对信息供给环节做结构化输入模板或检索补全，验证其能否在降低成本的同时提升校准水平。
• 在 agent 上线前设置重复运行与配置消融测试，避免把单次跑分当作模型能力结论。

• 该基准的四个科学任务能否代表其他领域或商业场景下的 agent 表现？
• 约 54% 的方差来自重复同配置运行，其具体成因（如采样随机性、环境波动）论文是否给出分解？
• 信息供给影响最大这一结论在不同 backbone model 与任务类型下是否稳健？
• 专门验证工具带来的行为变化是否同时提升最终任务成功率，还是只改变过程轨迹？