AKV：面向智能体的缓存工程

AKV：面向智能体的缓存工程 一种新的服务系统，让 LLM 智能体直接管理自己的 KV cache——丢弃未使用的历史记录，并重新定位保留的键，无需重写或重新预填充。平均成本降低 27.7%，同时任务准确率提升 1.7 个百分点。