AI 工具与出海建站的账本。

首页 / AI 工具 / 4090 上跑大模型:24G 显存的真实边界

4090 上跑大模型:24G 显存的真实边界

70B 能不能跑、量化到什么程度、多少并发会崩。用显存账而不是参数账来判断。

2026年8月10日 7 分钟读完 naket.top 更新 2026-08-16
4090 上跑大模型:24G 显存的真实边界

24G 显存听起来很大,但它要先被"权重 + KV 缓存 + 框架开销"三件事分掉。70B 在 4090 上不是不能跑,是跑不动长上下文。

先算权重

量化每参比特70B 权重32B 权重
FP1616~140GB~64GB
Q88~70GB~32GB
Q44~35GB~16GB
Q33~26GB~12GB

单卡 24G,70B 只有 Q3 勉强能"装进去一部分",实际必须分层加载到内存。结论:单卡 4090 上,32B 的 Q4 是最舒服的甜点区。

KV 缓存才是隐形成本

上下文越长,KV 缓存越大。粗算:每个 token 的 KV 开销 ≈ 层数 × 隐藏维度 × 2 × 字节数。

实用经验值(Q4、32B):

上下文额外显存
4K~1G
16K~4G
32K~8G

所以"32B Q4 + 32K 上下文"在 24G 上很紧,实际能跑到 16K 比较稳。

并发不是线性扩展

llama.cpp 默认单请求串行;要并发得开 --parallel,但每个槽位都要独立 KV 缓存。4 并发 16K 等于 16G 缓存,直接爆。

什么时候该换思路

  • 需要 70B 以上:租 GPU 或走 API,别硬压
  • 需要多并发服务:vLLM + 更大显存
  • 只是单机实验:4090 + 32B Q4 足够

一个实测感受

32B Q4 在 4090 上,短上下文生成速度约 30–40 token/s,16K 上下文降到 20 左右,长上下文首次预填充会比较慢(几秒到十几秒)。

这个速度对"自己用"完全够,对"给多人提供服务"不够。先想清楚是哪一个。

一张实用的选型表

用途建议模型量级量化上下文
日常问答、改写7–14BQ5/Q48K
代码补全、解释14–32BQ416K
长文档摘要14BQ432K(靠外挂检索)
多轮代理任务32BQ416K

关键判断是:上下文比参数量更吃显存。同样 24G,32B Q4 只给 4K 上下文能跑得很顺,给 32K 就开始 swap。

一个被忽略的成本

首次加载模型要读几十 GB 的权重文件。放在机械盘上,冷启动一两分钟;放 NVMe 上十几秒。如果你的用法是"用完就卸载",磁盘速度比显卡更重要。

一条经验

先用 7B 跑通整条链路(提示词、检索、输出格式),再换大模型。反过来做,一旦出错你分不清是模型不行还是链路有问题。

再补一个观察:本地模型的"可用"标准,不是能不能出正确答案,而是连续问十次能不能稳定出格式正确的答案。稳定性不够时,接自动化的成本会比调用 API 高得多。

再补一条:显存够不够,用"模型大小 × 1.2 + 上下文占用"估。留 20% 余量,否则一并发请求就 OOM——本地推理最常见的"能用但一压就崩"就是这样来的。

本地部署4090量化推理

延伸阅读

llama.cpp 文档 ↗ vLLM 文档 ↗