AI 工具与出海建站的账本。

首页 / AI 工具 / vLLM、llama.cpp、Ollama:三套推理栈的适用面

vLLM、llama.cpp、Ollama:三套推理栈的适用面

吞吐、易用性、量化支持三者不可兼得。按使用场景选,而不是按跑分选。

2026年8月21日 6 分钟读完 naket.top 更新 2026-08-27
vLLM、llama.cpp、Ollama:三套推理栈的适用面

三个框架经常被放在一起比"哪个快",但它们的目标场景根本不同。

一张表说清

vLLMllama.cppOllama
目标高吞吐服务单机极致控制开箱即用
并发强(PagedAttention)弱(需手动分槽)弱
量化支持有限(AWQ/GPTQ)最全(GGUF 各档)GGUF
硬件NVIDIA 为主CPU/GPU 均可广
上手中中极简

什么时候用哪个

  • 要给多人/多请求服务 → vLLM。它的吞吐优势在并发场景才体现,单请求反而没优势。
  • 要在一台机器上榨干性能、控制每个参数 → llama.cpp。GGUF 量化档位细,CPU/GPU 混合推理灵活。
  • 只想快速试一个模型 → Ollama。它的价值是"五分钟能对话",不是"能上线"。

一个常见误判

用 Ollama 跑单请求测速度,再拿这个数字去估 vLLM 的并发能力。这两个数字不可比:Ollama 是单流,vLLM 的强项是批处理。

正确的对比方式是:固定并发数与上下文长度,测"每秒总 token"。单流测速只能回答"我一个人用快不快"。

量化与精度的取舍

  • GGUF Q4 在多数对话任务上几乎无感,代码任务会掉一点
  • AWQ/GPTQ 4bit 对 vLLM 友好,但可用模型少
  • 需要严格复现结果时,别用量化

我的实际配置

单机实验用 llama.cpp(可控、量化全),要做服务就上 vLLM。Ollama 只在"想试一个新模型"时用,试完就删。

工具选型的标准不是"最强",是"和你的使用方式匹配"。

一个被忽略的指标

选型时大家比 tokens/s,但真实体验由 首 token 延迟(TTFT) 决定。长上下文下预填充慢,TTFT 会从 0.3s 涨到 5s 以上,用户会以为"卡住了"。

测的时候要分开测:短提示 TTFT、长提示 TTFT、稳定生成速率,三个数字一起看。

部署形态的差别

单进程常驻服务容器
启动成本每次加载模型一次一次 + 镜像层
内存占用用完释放常驻常驻
适合实验长期使用多环境切换

24G 显存的机器,常驻一个 32B Q4 就等于把卡占满,别的任务别想跑。实验型用法更适合"按需启动"。

一句总结

先确定"谁在用、同时几个人用、要多长的上下文",再去挑框架。反过来按跑分挑,装完才发现用不上。

补一句:这三个数字(短 TTFT、长 TTFT、生成速率)建议做成固定脚本,换框架时跑同一套,比较才有意义。

推理vLLMllama.cppOllama

延伸阅读

vLLM 文档 ↗ Ollama 文档 ↗