AI

清华开源 AKV：提升大模型代理效率的 KV 缓存工程系统

清华大学与香港中文大学联合发布的开源系统 AKV，针对大语言模型代理的 KV 缓存进行智能删减与重排，实现成本下降近 28%、任务得分提升 1.7 分，为 LLM 应用的高效部署提供新思路。

AI观察

• 5 min read
清华开源 AKV：提升大模型代理效率的 KV 缓存工程系统

背景：LLM 代理的上下文膨胀问题

随着大语言模型（LLM）在搜索、写作、代码生成等任务中的广泛落地，越来越多的应用采用 代理（agent） 框架，让模型在多轮交互中自行决定调用工具、检索信息或生成答案。每轮交互都会产生新的 KV cache（键值对缓存），用于加速后续的自回归计算。然而，代理在长对话或复杂任务中往往会累积大量历史上下文，导致显存占用激增、推理成本飙升，甚至出现“上下文饱和”导致生成质量下降的情况。

AKV 的核心创新：缓存工程（Cache Engineering）

清华大学和香港中文大学的研究团队提出了 AKV（Cache Engineering Server），它不是传统的“上下文工程”（Context Engineering），后者通常通过摘要、删减或压缩历史文本来控制上下文长度。AKV 直接在 KV cache 层面进行操作：

  • 允许代理 自行决定 删除哪些缓存条目，而非被动接受外部摘要。
  • 提供 重排 功能，把重要的缓存移动到更靠前的位置，提升检索效率。
  • 通过策略库（policy library）实现多种删除/重排策略，可根据任务类型、模型规模或显存限制动态切换。

这种“缓存工程”思路的优势在于，它保留了模型内部的注意力计算结构，只是对底层缓存进行精细管理，从而在不牺牲模型能力的前提下显著降低算力消耗。

技术实现概览

基于 SGLang 的高效部署

AKV 构建在开源的 SGLang 框架之上，利用其对 NVIDIA GPU（如 A800-80GB）在 BF16 精度下的高吞吐优化。系统本身不携带模型权重，只提供：

  • 服务端（serving system），负责管理 KV 缓存的生命周期。
  • 策略库（policy library），包括“按重要性删除”“按时间窗口保留”等多种策略实现。

用户只需将已有的 LLM（如 GPT‑OSS‑120B）接入 AKV，即可获得缓存管理能力。

实验配置与基准

论文中使用了三种模型进行评测：

  • GPT‑OSS‑120B（活跃参数 5.1B）
  • MiniMax‑M2.7（总参数 230B，活跃 10B）
  • MiroThinker‑1.7‑Mini（总参数 30B，活跃 3B）

每个模型在四套代理基准任务上进行测试，硬件环境为 8 张 NVIDIA A800‑80GB GPU，采用 BF16 计算。

实验结果：成本与效果双提升

在所有实验组合中，AKV 的平均成本下降了 27.7%，同时任务得分提升了 1.7 分。以下为两组极端案例：

  • 最佳表现：GPT‑OSS‑120B 在 SWE‑bench 基准上，单任务成本从 20.0 美分降至 9.7 美分，得分从 40.0 提升至 43.2。
  • 相对不足：MiniMax‑M2.7 在 BrowseComp‑Plus 基准上，得分为 58.9，仍低于 Text Engineering 的 62.3，提示在特定检索密集任务中仍有提升空间。

整体来看，AKV 在保持或提升模型输出质量的同时，有效削减了显存占用和算力费用，具备显著的商业落地价值。

行业意义：为大模型部署降低门槛

当前，企业在部署 100B 级以上的大模型时面临两大瓶颈：

  1. 显存成本高昂，往往需要多卡并行，导致硬件投入巨大。
  2. 长上下文导致推理费用随任务长度线性增长，难以在实际产品中实现成本可控。

AKV 通过对 KV 缓存的精细管理，直接在模型内部削减不必要的计算，帮助企业在不牺牲模型能力的情况下，使用更少的 GPU 资源完成同等任务。这对云服务提供商、AI SaaS 平台以及科研机构都有重要意义。

局限与未来方向

尽管 AKV 已展示出可观的成本优势，但仍存在以下限制：

  • 策略库仍以经验规则为主，缺乏对不同任务自适应学习的机制。
  • 在极端检索或多工具调用场景（如 BrowseComp‑Plus）中，删除策略可能误删关键缓存，导致性能回落。
  • 当前实现依赖 SGLang 与 NVIDIA GPU，对其他硬件（如 AMD GPU、CPU）支持尚未成熟。

未来的研究可以探索：

  • 基于强化学习的缓存策略自动调优。
  • 跨硬件抽象层，使 AKV 能在更广泛的算力平台上运行。
  • 与检索增强模型（RAG）深度结合，统一管理文本检索结果与 KV 缓存。

对读者的行动建议

如果你所在的团队正面临大模型部署成本高、显存不足或长上下文导致的推理延迟问题，建议：

  1. 先在本地小规模实验环境中接入 AKV，评估对现有代理工作流的影响。
  2. 结合业务场景选择合适的缓存策略，例如对话型客服可采用“时间窗口保留”，而检索型搜索则可使用“重要性优先”。
  3. 关注项目的后续更新，特别是策略库的扩展和跨平台适配进展。

通过合理利用 AKV，能够在不大幅度增加硬件投入的前提下，提升 LLM 代理的响应速度和成本效益，为 AI 产品的商业化提供更稳健的技术支撑。