所有按 token 计费的服务,都有一个容易被忽略的乘数:每次请求都会重新发送整个上下文。上下文越长,单次成本越高,而且是重复付费。
一个简单的模型
设上下文长度为 C,输出长度为 O,请求次数为 N。总成本 ≈ N × (C × 输入单价 + O × 输出单价)。
关键在于 C 不是常量:多轮对话里它一直在增长。第 10 轮的请求,包含前 9 轮的全部内容。
数字感受
| 场景 | 上下文 | 单次成本(量级) |
|---|---|---|
| 短问答 | 1K | 极低 |
| 读一篇长文 | 30K | 短问答的 30 倍 |
| 长对话第 20 轮 | 60K | 短问答的 60 倍 |
| 塞整个代码库 | 200K | 短问答的 200 倍 |
所以"上下文字节数 × 对话轮数"才是真实花费。一次塞满 200K 再聊 20 轮,账单会很吓人。
三个降本手段
- 摘要代替原文:长文档先摘要成 2K,再带着摘要对话
- 按需检索:不要一次给全部,让模型按需查(这正是 MCP 类工具的用途)
- 控制轮数:一个任务做完就开新会话,别在一个超长会话里做十件不相关的事
缓存的影响
多数服务对"前缀相同"的请求有折扣(prompt caching)。这意味着:把不变的内容(系统提示、规则)放在最前面,把变化的内容放后面,能显著降本。
反过来做——每次把新内容插到前面——缓存全部失效,成本回到原价。
一个习惯
每次准备"把一大段东西贴进去"之前,先问:这段内容里,模型真正需要的比例是多少?通常不到 20%。
省下的不是 token,是让上下文留给真正重要的部分。
三个常见误判
- 把整份文档塞进去:token 花在无关段落上,注意力被稀释,答案质量下降。
- 只检索不重排:召回 20 段、相关度参差,模型容易抓住错的那段。
- 切块按字数:一刀切 500 字会把表格和代码切断,语义碎片化。
一个可用的切块策略
- 按标题层级切,最大不超过 800 字
- 代码块、表格整体保留,不切
- 每块前面加上"来源标题 + 小节名",检索命中后模型知道上下文
- 重叠 10–15%,避免跨块信息断裂
成本对照
| 方式 | 1 万字文档的输入 token | 回答质量 |
|---|---|---|
| 全文塞入 | 约 1.5 万 | 中(易迷失) |
| 检索 top5 | 约 2500 | 高(聚焦) |
| 检索 + 摘要 | 约 800 | 中高(有损) |
一句总结
上下文窗口变大,不等于该塞更多。能定位,比能装下更重要。
成本公式
单次请求成本 ≈ 输入 token × 单价 + 输出 token × 单价。长上下文真正贵的是输入,而且每一轮对话都要把历史重发一遍。
所以多轮场景的成本是二次增长的:10 轮对话 × 每轮 5K 输入 = 50K 输入 token,而不是 5K。先算总账,再决定窗口开多大。
再补一个实操:把"系统提示 + 工具定义"固定下来并前置缓存。这部分每轮都发,但内容不变,缓存命中后成本能降一个量级。
一句话收尾:窗口越大,越要克制;省下来的 token,本质上是省下来的注意力。