HuggingPapers· @HuggingPapers · X·· 5 天前AI 评分
AKV：面向智能体的缓存工程
AKV：面向智能体的缓存工程 一种新的服务系统，让 LLM 智能体直接管理自己的 KV cache——丢弃未使用的历史记录，并重新定位保留的键，无需重写或重新预填充。平均成本降低 27.7%，同时任务准确率提升 1.7 个百分点。
AKV: Cache Engineering for Agents
A new serving system that lets LLM agents directly manage their KV cache — dropping unused history and repositioning retained keys without rewriting or re-prefilling. Reduces average cost by 27.7% while improving task accuracy by 1.7 points.
来源：HuggingPapers · x.com