不能只看价目表选服务商：面向开放权重模型推理的市场感知路由

该论文测量了多个开放权重模型在多家服务商上的实时端点，覆盖多种任务类型与三轮测量。结果显示，同一模型在不同服务商之间的质量、延迟、可用性和价格差异明显；高价服务商通常更快，但价格无法可靠预测质量或可用性，且服务商可行性具有任务选择性，某部署在知识任务上接近正常，在多步推理上却严重退化。作者将同模型服务商选择形式化为价格接受者的市场感知路由问题，并提出在线路由器 FACET。

此前 LLM 路由主要在模型之间按静态单模型成本做选择，默认选定模型后服务商选择无关紧要。该研究指出开放权重推理市场存在被忽略的第二决策轴：同模型不同服务商的端到端表现并不同质。这使路由问题的输入从价目表转向实测状态，也意味着按价格选服务商可能同时损失质量和可用性。

同一开放权重模型可由多家服务商托管，各家在硬件、批处理、量化、限流和运维上不同，因此质量、延迟、可用性和价格不会沿单一价格维度对齐。论文用实时端点测量构建质量等价且健康的服务商映射，并指出该映射会漂移。FACET 通过认证每个服务商与任务组合的可行性，在服务未经认证的选项前回退到锚点，从而在反馈稀疏和任务分配不完美时仍能避开退化端点。

对使用开放权重模型的产品团队，选型不能止于模型层，需要把服务商维度纳入路由和监控，按任务类型分别验证质量与可用性，而不是依赖价目表或单一基准分数。对推理平台和网关类产品，这意味着需要持续的健康与质量探测、按任务粒度的认证、以及可回退的锚点机制，以在控制成本的同时避免把流量打到退化端点。

• 构建面向开放权重模型的跨服务商路由网关，按任务类型维护实测质量、延迟和可用性状态，并支持自动回退。
• 提供持续端点探测与审计服务，定期验证各服务商在各任务上的质量等价性，输出可用于路由的可行性证书。
• 在模型评测产品中增加服务商维度，按任务类型发布同一模型在不同服务商上的质量与可用性对比。
• 为推理采购提供基于实测的选型建议，识别价格低且质量等价的服务商，替代单纯按价目表比价。

• 论文摘要中的模型数量被占位符替代，实际覆盖多少个开放模型和多少家服务商尚不明确。
• FACET 在真实业务流量下的成本节省幅度、质量损失和回退频率尚未在证据中给出具体数值。
• 评估者系统性偏差导致的质量信号信任边界具体如何量化，以及真值探测或审计的成本是多少。
• 服务商映射漂移的时间尺度和触发重新认证的条件尚未在证据中说明。