24G 显存听起来很大,但它要先被"权重 + KV 缓存 + 框架开销"三件事分掉。70B 在 4090 上不是不能跑,是跑不动长上下文。
先算权重
| 量化 | 每参比特 | 70B 权重 | 32B 权重 |
|---|---|---|---|
| FP16 | 16 | ~140GB | ~64GB |
| Q8 | 8 | ~70GB | ~32GB |
| Q4 | 4 | ~35GB | ~16GB |
| Q3 | 3 | ~26GB | ~12GB |
单卡 24G,70B 只有 Q3 勉强能"装进去一部分",实际必须分层加载到内存。结论:单卡 4090 上,32B 的 Q4 是最舒服的甜点区。
KV 缓存才是隐形成本
上下文越长,KV 缓存越大。粗算:每个 token 的 KV 开销 ≈ 层数 × 隐藏维度 × 2 × 字节数。
实用经验值(Q4、32B):
| 上下文 | 额外显存 |
|---|---|
| 4K | ~1G |
| 16K | ~4G |
| 32K | ~8G |
所以"32B Q4 + 32K 上下文"在 24G 上很紧,实际能跑到 16K 比较稳。
并发不是线性扩展
llama.cpp 默认单请求串行;要并发得开 --parallel,但每个槽位都要独立 KV 缓存。4 并发 16K 等于 16G 缓存,直接爆。
什么时候该换思路
- 需要 70B 以上:租 GPU 或走 API,别硬压
- 需要多并发服务:vLLM + 更大显存
- 只是单机实验:4090 + 32B Q4 足够
一个实测感受
32B Q4 在 4090 上,短上下文生成速度约 30–40 token/s,16K 上下文降到 20 左右,长上下文首次预填充会比较慢(几秒到十几秒)。
这个速度对"自己用"完全够,对"给多人提供服务"不够。先想清楚是哪一个。
一张实用的选型表
| 用途 | 建议模型量级 | 量化 | 上下文 |
|---|---|---|---|
| 日常问答、改写 | 7–14B | Q5/Q4 | 8K |
| 代码补全、解释 | 14–32B | Q4 | 16K |
| 长文档摘要 | 14B | Q4 | 32K(靠外挂检索) |
| 多轮代理任务 | 32B | Q4 | 16K |
关键判断是:上下文比参数量更吃显存。同样 24G,32B Q4 只给 4K 上下文能跑得很顺,给 32K 就开始 swap。
一个被忽略的成本
首次加载模型要读几十 GB 的权重文件。放在机械盘上,冷启动一两分钟;放 NVMe 上十几秒。如果你的用法是"用完就卸载",磁盘速度比显卡更重要。
一条经验
先用 7B 跑通整条链路(提示词、检索、输出格式),再换大模型。反过来做,一旦出错你分不清是模型不行还是链路有问题。
再补一个观察:本地模型的"可用"标准,不是能不能出正确答案,而是连续问十次能不能稳定出格式正确的答案。稳定性不够时,接自动化的成本会比调用 API 高得多。
再补一条:显存够不够,用"模型大小 × 1.2 + 上下文占用"估。留 20% 余量,否则一并发请求就 OOM——本地推理最常见的"能用但一压就崩"就是这样来的。