用 Spatial Transformer 在推理空间控制 AI agent 群体

arXiv 论文提出 COMPASS，一种面向多机器人编队的去中心化架构，用推理空间反馈控制大规模 AI agent 群体。每台机器人由 spatial transformer 聚合多跳消息生成本地反馈 token。实验显示，语言模型群体在结构化多样化指令下性能提升并可抵消偏差，且随规模保持；相比集中式前沿 LLM 策略与纯语言通信消融，COMPASS 能形成紧密编队并按指令飞行，并零样本泛化到模糊新指令，在自然语言命令下指挥最多 1024 台机器人、达训练规模 16 倍。

此前多机器人协作多依赖集中式 LLM 策略或纯语言通信，团队规模增大后性能明显下降。该工作把控制反馈放到推理空间并本地生成，显示可扩展至训练规模 16 倍、上千台机器人，且对模糊指令零样本泛化，为大规模群体控制提供了新路径。

机制上，每台机器人用 spatial transformer 聚合舰队内多跳消息，压缩成学习到的反馈 token，形成去中心化闭环反馈；证据表明结构化多样输入可抵消模型偏差，而把原始状态直接放入语言通道会破坏编队一致性，说明紧凑学习 token 优于手工反馈。

对机器人研发而言，控制逻辑可从中心调度改为本地推理反馈，降低对集中式大模型的依赖和通信开销；产品设计需预留 spatial transformer 推理与多跳消息模块，并重新评估语言通道承载原始状态的做法。

• 在仓储或无人机编队产品中，将集中式调度逐步替换为本地反馈 token 架构，验证规模扩展后的编队稳定性。
• 针对模糊自然语言指令场景，开发基于结构化多样指令输入的命令解析与偏差校正模块。
• 把 spatial transformer 聚合并压缩多跳消息的方案，复用到多智能体仿真或物流车队协同的中间件。
• 围绕 1024 台机器人规模做压力测试工具，量化训练规模 16 倍外推时的性能衰减。

• COMPASS 在真实硬件机器人上的表现是否与论文实验一致，尚未确认。
• 训练规模 16 倍、1024 台机器人的外推在更多任务类型上是否仍成立，证据有限。
• 与集中式前沿 LLM 策略相比，COMPASS 在成本、延迟和算力需求上的具体差异未被披露。
• 结构化多样指令抵消偏差的机制是否对所有模型和任务通用，仍待验证。