三个框架经常被放在一起比"哪个快",但它们的目标场景根本不同。
一张表说清
| vLLM | llama.cpp | Ollama | |
|---|---|---|---|
| 目标 | 高吞吐服务 | 单机极致控制 | 开箱即用 |
| 并发 | 强(PagedAttention) | 弱(需手动分槽) | 弱 |
| 量化 | 支持有限(AWQ/GPTQ) | 最全(GGUF 各档) | GGUF |
| 硬件 | NVIDIA 为主 | CPU/GPU 均可 | 广 |
| 上手 | 中 | 中 | 极简 |
什么时候用哪个
- 要给多人/多请求服务 → vLLM。它的吞吐优势在并发场景才体现,单请求反而没优势。
- 要在一台机器上榨干性能、控制每个参数 → llama.cpp。GGUF 量化档位细,CPU/GPU 混合推理灵活。
- 只想快速试一个模型 → Ollama。它的价值是"五分钟能对话",不是"能上线"。
一个常见误判
用 Ollama 跑单请求测速度,再拿这个数字去估 vLLM 的并发能力。这两个数字不可比:Ollama 是单流,vLLM 的强项是批处理。
正确的对比方式是:固定并发数与上下文长度,测"每秒总 token"。单流测速只能回答"我一个人用快不快"。
量化与精度的取舍
- GGUF Q4 在多数对话任务上几乎无感,代码任务会掉一点
- AWQ/GPTQ 4bit 对 vLLM 友好,但可用模型少
- 需要严格复现结果时,别用量化
我的实际配置
单机实验用 llama.cpp(可控、量化全),要做服务就上 vLLM。Ollama 只在"想试一个新模型"时用,试完就删。
工具选型的标准不是"最强",是"和你的使用方式匹配"。
一个被忽略的指标
选型时大家比 tokens/s,但真实体验由 首 token 延迟(TTFT) 决定。长上下文下预填充慢,TTFT 会从 0.3s 涨到 5s 以上,用户会以为"卡住了"。
测的时候要分开测:短提示 TTFT、长提示 TTFT、稳定生成速率,三个数字一起看。
部署形态的差别
| 单进程 | 常驻服务 | 容器 | |
|---|---|---|---|
| 启动成本 | 每次加载模型 | 一次 | 一次 + 镜像层 |
| 内存占用 | 用完释放 | 常驻 | 常驻 |
| 适合 | 实验 | 长期使用 | 多环境切换 |
24G 显存的机器,常驻一个 32B Q4 就等于把卡占满,别的任务别想跑。实验型用法更适合"按需启动"。
一句总结
先确定"谁在用、同时几个人用、要多长的上下文",再去挑框架。反过来按跑分挑,装完才发现用不上。
补一句:这三个数字(短 TTFT、长 TTFT、生成速率)建议做成固定脚本,换框架时跑同一套,比较才有意义。