长期运行的 AI 代理记忆中的压缩悬崖

arXiv 论文提出长期运行的 AI 代理存在压缩悬崖问题：安全规则与情景日志在上下文窗口预算超限时被同等压缩，导致规则保留率急剧下降。在 20 个生产配置中，Sonnet 4.6 上的一次压缩仅保留 53% 规则，五次后降至 10%。论文提出 Knowledge Triage 框架，通过分类和定制保留策略，在五个公共语料库上比最强单次 LLM 压缩器多保留 2-4 倍规则，并在下游行为基准上表现更优。

此前上下文压缩通常统一处理所有信息，未区分安全规则与普通日志。该论文揭示这种做法的风险：压缩多次后安全规则可能丢失，导致合规失效。Knowledge Triage 框架通过分类定制保留策略，大幅提升规则保留率，为长时运行代理的可靠性和安全性提供新思路。

压缩悬崖源于无差别压缩：安全规则需要精确措辞才能执行，而日志只需大意，但两者被同等处理。Knowledge Triage 通过将知识库按类型分类，对每种类型采用不同的保留策略（如高保真重写、分解大主题、从外部存储检索），并优先固定范围内的规则，从而在压缩时保留关键信息。

对于依赖长上下文代理的产品（如客服、编程助手），该研究提示压缩机制需区分安全规则与普通数据，否则多轮交互后可能违反合规要求。产品团队应评估现有压缩策略的规则保留率，并借鉴分类保留方法，以提升长期运行的稳定性和安全性。

• 为代理增加基于知识类型的压缩策略，优先保留安全规则等高保真信息。
• 在压缩循环后加入规则完整性校验，自动检测并补救关键规则丢失。
• 实现外部存储检索机制，将溢出的知识持久化并按需取回。

• Knowledge Triage 在不同模型上的效果是否一致？
• 论文中的基准是否涵盖真实生产环境的复杂性和多样性？
• 分类保留策略是否会增加计算开销，影响实时性能？
• 对于非安全类但重要的业务逻辑，是否存在类似的需求？