高效关联非结构化数据以支持多步推理

一篇 arXiv 论文提出 DASE 查询引擎，用于面向 AI agent 数据工程流程的多步推理检索。该引擎包含基于结构化谓词、多向量与关系链的查询模型、面向稀疏近邻对的物化索引 SemJI，以及结合 ANN 遍历、批量访问与阈值分数聚合的执行层。在科学发现类负载上，DASE 在召回率相当的情况下比 RDBMS、重排与向量数据库基线快 6 至 46 倍；在 SemBench E-Commerce 上，它将 BigQuery 质量从 0.67 提升到 0.80，成本从 2.42 美元降到 0.54 美元。

此前多步推理检索通常把多属性过滤、向量搜索、关系连接与相似度连接拆成多个系统串联执行，容易在召回与成本之间取舍。该工作把这些操作收敛到一个查询模型与执行层中，并给出科学发现和电商语义算子场景下的速度、质量与成本对照，说明检索预过滤可能成为降低下游 LLM 调用成本的独立优化环节。

机制上，DASE 用结构化谓词、多个向量和关系链接共同描述多步推理查询，并借助物化稀疏索引 SemJI 处理稀有的近邻对，避免在全量数据上反复计算相似度连接。执行层把谓词感知的 ANN 遍历、批量访问与基于阈值的分数聚合协同设计，从而在高召回前提下减少候选集规模，使后续 LLM 评估更便宜也更准确。

对产品与研发而言，这套方案意味着检索层可以承担更重的过滤与连接职责，而不必仅依赖向量数据库或数仓多次往返。工程团队可评估把多属性过滤、向量召回与关系连接合并为统一查询，以减少 pipeline 阶段数和调用成本；下游 LLM 评估若改为高召回预过滤，可能同时改善质量与账单。

• 在 AI agent 数据检索链路中引入统一查询引擎原型，对比现有向量数据库加数仓方案在召回、延迟和成本上的差异。
• 针对科学发现或电商语义算子场景，验证 DASE 式高召回预过滤能否稳定降低下游 LLM 评估费用。
• 评估将 SemJI 这类稀疏物化索引用于稀有近邻对检索，以减少重复相似度连接计算。
• 围绕多属性过滤、多向量搜索与关系连接组合的查询，设计可观测指标以衡量召回与成本变化。

• DASE 是否已在论文之外的真实生产环境中部署并持续验证。
• 6 至 46 倍加速与质量提升结果能否在更多数据集和模型上复现。
• 该方法对非科学发现、非电商类多步推理任务是否同样有效。
• SemJI 索引的维护成本、更新频率与长期存储开销如何。