ORCA-bench：语言模型 agent 对 oncall 的 readiness 评估基准

ORCA-bench 是一个新基准，将通用编程 agent 置于生产级 oncall 环境，使用 OpenTelemetry 微服务系统，提供六天指标、日志和追踪数据，并包含 1,079 个 RCA 任务。五个前沿 agent 在中等难度任务上最佳 RCA 准确率为 25.3%，在困难任务上为 10.0%，最弱模型在 40% 报告中幻觉出不合理解释。

此前基准多聚焦代码生成或漏洞修复，而 ORCA-bench 首次将 agent 置于真实 oncall 环境，暴露了前沿编码 agent 在根因分析上的显著差距（25.3%/10.0%），表明 AI 在运维场景中的实际可用性远低于预期，为评估和投资提供了新标尺。

ORCA-bench 通过真实微服务系统模拟 oncall，要求 agent 处理含噪遥测数据、模糊报告和多故障场景。答案由专家 SRE 确认，并用人类重评的 LLM 评判（加权 Kappa 0.90）。结果显示，移除源码访问会降低所有指标，说明 agent 依赖代码上下文，但推理复杂故障能力仍不足，且易产生幻觉。

对研发和运维团队，该基准提示前沿编码 agent 尚不能安全处理真实 oncall，盲目依赖可能导致误判风险。需要投入额外工程来提升 agent 的推理、数据整合和幻觉抑制能力，并完善监控和可观测性工具链，成本可能增加。

• 构建基于 ORCA-bench 的 agent 能力评估工具，用于筛选更适合 oncall 的模型或配置。
• 开发可观测性数据管理模块，增强 agent 对指标、日志、追踪的整合与推理能力。
• 为 agent 接入严格的幻觉校验机制，在生成根因前验证其与证据的一致性。
• 将 ORCA-bench 集成到内部 SRE 培训或模拟演练流程中，辅助人机协作模式设计。

• ORCA-bench 中 agent 失败的具体原因（如数据噪声、上下文窗口限制）是否已分类量化？
• 更大规模生产系统中 agent 性能下降幅度是否与作者预测的更低界一致？
• 不同 agent 架构（如检索增强 vs 长上下文）在 ORCA-bench 上的差异是否显著？
• ORCA-bench 是否可用于评估微调后的专有模型，而非仅通用 agent？