SparseEngine：稀疏优先的推理引擎

arXiv 论文提出 SparseEngine，一个从底层设计的稀疏优先推理引擎，通过共享生命周期契约让各稀疏方法自行控制 KV 表示与计算，并与通用服务基础设施协调状态迁移。它支持四类共 15 种方法，并提供 Chain Cache 与可控 Prefix-Cache Pruning 两项跨请求状态管理能力。评测显示，在保持方法质量的前提下，KV eviction 吞吐提升逾 10 倍，同并发下解码速度比 vLLM 快逾 2.5 倍，agent 基准端到端加速逾 2 倍，代码已开源。

长上下文 agent 的交互历史会持续挤压 KV-cache 与注意力计算，但已有稀疏注意力方案因缓存表示和工作流异构，难以接入现有推理引擎，且既有稀疏服务抽象只覆盖特定布局。SparseEngine 试图把稀疏方法统一纳入同一服务框架，并首次提供跨请求 KV 状态复用与选择性裁剪能力。

该引擎用共享生命周期契约解耦方法实现与服务调度：每种稀疏方法可自定义 KV 表示与计算，状态迁移交给通用基础设施。Chain Cache 从保留历史中恢复被逐出的 KV 方法，Prefix-Cache Pruning 则删除选定历史区域的 KV 同时保留逻辑前缀匹配，从而在压缩显存的同时维持前缀复用。

对长上下文 agent 产品，KV 显存和解码延迟是直接成本项。若该引擎可落地，团队可在不改动上层业务逻辑的情况下接入多种稀疏方法，并利用跨请求状态复用降低重复计算，进而压缩单次对话的显存占用与端到端延迟；但需验证其与现有 vLLM 类部署栈的兼容成本。

• 在自建长上下文 agent 服务中，用 SparseEngine 替代或前置现有 vLLM 服务，先对 KV eviction 场景做 A/B 吞吐与延迟对比。
• 针对多轮会话产品，试点 Chain Cache 复用历史 KV，量化跨请求状态恢复带来的显存与首 token 延迟收益。
• 评估 Prefix-Cache Pruning 在保留逻辑前缀匹配的前提下裁剪历史区域，用于降低长对话的缓存成本。
• 基于其 15 种方法的统一契约，封装内部稀疏策略插件层，减少后续更换稀疏算法的迁移成本。

• 论文报告的 10 倍吞吐、2.5 倍解码与 2 倍端到端加速，是否来自同一套硬件与基准设置，是否有独立复现。
• SparseEngine 与 vLLM 之外的现有推理引擎及生产部署栈的集成成本与兼容性如何。
• Chain Cache 与 Prefix-Cache Pruning 在真实多租户、长会话负载下的正确性与缓存一致性是否经过验证。
• 15 种方法中哪些在保持质量上经过系统评测，哪些仅做了集成支持。