PhysAI-Bench：面向以无人机为中心的自主物理 AI 的 LLM 智能体决策基准

arXiv 上发布 PhysAI-Bench，用于评测自主无人机场景中基础模型的智能体决策能力。该基准从无人机任务的对话轨迹中自动提取 10,178 条标准化决策实例，每条保留任务上下文、时序依赖、物理约束、MCP 工具调用、A2A 交互、传感器观测和 AI 原生 6G 网络条件，且只暴露决策前信息以避免未来信息泄漏。研究团队以两阶段协议评测 29 个基础模型：先在 35 条人工校验开发集上从 12 种提示与温度组合中选定配置，再在 500 条互斥实例上测评。GPT-5.3 准确率最高达 52.00%，GPT-5.2 为 49.40%，Grok 4.5 为 49.07%；少样本提示总体提升表现，温度影响有限。

既有基准多测物理感知、直觉物理、具身导航和协作推理，很少评测可靠自主所需的智能体决策。PhysAI-Bench 把决策前信息隔离、时序依赖、物理约束、MCP/A2A 交互和 6G 网络条件一起纳入评测，相当于把“自主系统能不能在动态环境里做对决策”变成可量化对象，并首次给出 29 个基础模型在该任务上的可比分数。

该基准把真实无人机任务中的对话轨迹拆成决策实例，每条只保留决策发生前的上下文，模拟在线决策，防止模型看到未来事件。评测分两阶段：先在小型人工校验集上为每个模型选择提示与温度配置，再冻结配置在 episode 互斥的 500 条实例上跑三次，以降低配置搜索带来的偏差。最高准确率约 52%，说明当前模型在真实自主决策上仍有较大提升空间。

对做无人机、机器人和 Physical AI 产品的团队，该基准提供了一套可复用的评测维度和数据形态：把任务上下文、时序依赖、物理约束、MCP 工具调用、A2A 协作和网络条件一起纳入测试。研发上可据此检查模型在决策前信息下的实际表现，而不只看感知或导航指标；产品上可据此设定上线前的准确率门槛和回退策略。

• 面向无人机巡检、配送等场景，基于 PhysAI-Bench 的实例格式搭建内部决策评测集，在选型阶段对比基础模型的实际决策准确率。
• 将 MCP 工具调用和 A2A 交互纳入产品测试用例，验证模型在真实工具链和网络条件下的失败模式。
• 针对 52% 左右的准确率上限，设计人机确认或规则兜底流程，把高不确定性决策交给人工或确定性逻辑。
• 围绕决策前信息隔离的评测方法，开发可复用的数据管线，用于持续监控模型上线后的决策表现。

• 该基准的 500 条评测实例是否全部经过人工校验，还是仅开发集经过人工校验？
• 论文中报告的准确率是在何种网络条件与任务类型分布下取得的，是否覆盖不同无人机任务？
• MCP 工具调用与 A2A 交互的失败是否会单独统计，以及它们对整体准确率的影响有多大？
• 该基准和评测协议是否已公开代码、数据或榜单，供第三方复现和比较？