AI 工具与出海建站的账本。

首页 / 成本与订阅 / 长上下文的真实成本:token 账该怎么算

长上下文的真实成本:token 账该怎么算

上下文不是免费的。同样一段对话,放在开头和放在结尾,成本能差一倍以上。

2026年11月19日 8 分钟读完 naket.top
长上下文的真实成本:token 账该怎么算

所有按 token 计费的服务,都有一个容易被忽略的乘数:每次请求都会重新发送整个上下文。上下文越长,单次成本越高,而且是重复付费。

一个简单的模型

设上下文长度为 C,输出长度为 O,请求次数为 N。总成本 ≈ N × (C × 输入单价 + O × 输出单价)。

关键在于 C 不是常量:多轮对话里它一直在增长。第 10 轮的请求,包含前 9 轮的全部内容。

数字感受

场景上下文单次成本(量级)
短问答1K极低
读一篇长文30K短问答的 30 倍
长对话第 20 轮60K短问答的 60 倍
塞整个代码库200K短问答的 200 倍

所以"上下文字节数 × 对话轮数"才是真实花费。一次塞满 200K 再聊 20 轮,账单会很吓人。

三个降本手段

  1. 摘要代替原文:长文档先摘要成 2K,再带着摘要对话
  2. 按需检索:不要一次给全部,让模型按需查(这正是 MCP 类工具的用途)
  3. 控制轮数:一个任务做完就开新会话,别在一个超长会话里做十件不相关的事

缓存的影响

多数服务对"前缀相同"的请求有折扣(prompt caching)。这意味着:把不变的内容(系统提示、规则)放在最前面,把变化的内容放后面,能显著降本。

反过来做——每次把新内容插到前面——缓存全部失效,成本回到原价。

一个习惯

每次准备"把一大段东西贴进去"之前,先问:这段内容里,模型真正需要的比例是多少?通常不到 20%。

省下的不是 token,是让上下文留给真正重要的部分。

三个常见误判

  1. 把整份文档塞进去:token 花在无关段落上,注意力被稀释,答案质量下降。
  2. 只检索不重排:召回 20 段、相关度参差,模型容易抓住错的那段。
  3. 切块按字数:一刀切 500 字会把表格和代码切断,语义碎片化。

一个可用的切块策略

  • 按标题层级切,最大不超过 800 字
  • 代码块、表格整体保留,不切
  • 每块前面加上"来源标题 + 小节名",检索命中后模型知道上下文
  • 重叠 10–15%,避免跨块信息断裂

成本对照

方式1 万字文档的输入 token回答质量
全文塞入约 1.5 万中(易迷失)
检索 top5约 2500高(聚焦)
检索 + 摘要约 800中高(有损)

一句总结

上下文窗口变大,不等于该塞更多。能定位,比能装下更重要。

成本公式

单次请求成本 ≈ 输入 token × 单价 + 输出 token × 单价。长上下文真正贵的是输入,而且每一轮对话都要把历史重发一遍。

所以多轮场景的成本是二次增长的:10 轮对话 × 每轮 5K 输入 = 50K 输入 token,而不是 5K。先算总账,再决定窗口开多大。

再补一个实操:把"系统提示 + 工具定义"固定下来并前置缓存。这部分每轮都发,但内容不变,缓存命中后成本能降一个量级。

一句话收尾:窗口越大,越要克制;省下来的 token,本质上是省下来的注意力。

token上下文成本

延伸阅读

OpenAI 定价 ↗ Anthropic 定价 ↗