算力

本地 Agent 的硬件账：并发 KV cache 比权重更吃内存

Agent 长任务会同时挂多轮上下文与工具状态，除权重外还要为 KV cache 和并发会话留内存；给出容量拆分与降载顺序。

ガイド一覧 · 本文は主に簡体字中国語です。国際向けの要点は English summary をご利用ください。

权重只是其中一项

本地跑 Agent 时，内存里同时有：模型权重、每轮对话的 KV cache、工具调用状态、以及多个并发会话。权重是固定开销，KV cache 随上下文长度和并发数线性增长，长任务里它常常比权重更早撑爆内存。

1. 权重：按量化体积表估算。

2. KV cache：按「上下文长度 × 并发数」预留，长上下文任务翻倍留。

3. 系统与运行时：统一内存留约 4GB 给系统，再留一点给后端本身。

1. 缩短上下文窗口、限制并发会话数。

2. 关掉不用的工具状态缓存。

3. 降量化档。

4. 最后才换硬件——很多「内存不够」其实调前两项就解决了。