FinanceComplexQA：面向工业级金融文档的智能推理基准

研究人员设计了Finance-LaTeX SKILL，利用专家知识合成带复杂布局的LaTeX金融文档，并基于此构建agent workflow生成了2000份专业文档和6000个高质量问答对。他们推出了FinanceComplexQA基准，包含2026个深度研究任务，覆盖1009份文档，支持双语、六种主流场景和七种任务类型，通过Agent-as-a-Judge进行多指标评估。该基准已用于评估领先的RAG系统和智能推理工具在金融文档问答中的表现。

此前缺乏针对复杂布局和专业级金融文档的智能推理基准，现有基准难以反映真实场景。FinanceComplexQA提供双语、多场景、专家级问题，能更全面评估agent在金融分析中的能力，推动其在实际金融应用中的改进。

通过Finance-LaTeX SKILL合成复杂布局的金融文档，然后构建agent workflow自动生成问题和答案。基准包含多种任务类型（如数值计算、多跳推理、内容摘要）和评估指标，使用Agent-as-a-Judge进行精确打分，从而衡量agent在不同金融文档场景下的推理能力。

对于开发金融文档分析产品的公司，此基准可用于测试自家RAG或agent系统的性能，发现其在数值计算、多跳推理等方面的短板，从而指导产品优化和研发方向。

• 基于FinanceComplexQA开发针对金融文档的agent评估服务，帮助客户验证系统能力。
• 利用Finance-LaTeX SKILL构建自动化金融文档合成工具，用于生成测试数据。
• 开发面向金融文档的agent产品，直接使用此基准进行性能基准测试和迭代。

• FinanceComplexQA的文档和问答对是否公开可获取？
• Agent-as-a-Judge的评估结果与人工评估的一致性如何？
• 该基准能否覆盖所有金融文档类型（如年报、招股书）的具体格式？
• 评估中表现最好的agent系统是哪些？其具体架构是什么？