报错 context_length_exceeded / 上下文超限 / token 超出限制怎么办?先算账再裁剪的六步排查(2026)
上下文超限不是「换个更大窗口的模型」就完了。先搞清楚是输入超了还是输入+输出一起超了,再按组成拆账找出到底是谁在膨胀,然后决定该裁剪、该切分、还是该换模型——顺序反了会白花钱。
1. 先算清楚,别估
很多人报这个错时,并不知道自己实际发了多少 token。粗略换算只够判断量级:中文、代码和 JSON 通常比英文更费 token,同样字数的中文往往比英文多出不少。真要定位,就看接口返回里的 usage 字段(输入 token 数),或者在发送前本地用对应模型的 tokenizer 数一遍。报错时请求没被处理,拿不到 usage,那就用最近一次成功请求的 usage 加上这次新增的内容来推算。没有这个数字,后面每一步都是猜。
2. 记住是「输入 + 输出」一起算
这是一种常见误解。上下文窗口容纳的是输入加上模型将要生成的输出,`max_tokens` 是你预留给输出的那一块,设得越大,留给输入的空间越小。一个输入并不长的请求,配上一个夸张的 `max_tokens`,照样会超限。可以记一条预算公式:可用输入 = 模型窗口 − max_tokens − 安全余量。安全余量留给系统提示和工具定义的波动,别把窗口算满。遇到这个错先看一眼 `max_tokens` —— 有时候把它从一个很大的值调到任务真正需要的长度就解决了,而且顺带省钱。
3. 按组成拆账:找出到底是谁在膨胀
这一步常被跳过,但很省时间。把一次请求拆成五块分别数 token:系统提示、工具定义、对话历史、检索或粘贴进来的文档、上一轮工具输出。在发送前把这五个数打进日志,一眼就能看出问题在哪:系统提示每轮都一样却越改越长,说明提示需要瘦身;历史占了大头,说明需要窗口策略;某次工具输出一下子几万 token,说明有个工具把整份日志或整页网页原样回传了。拆完账再动手,比盲目「全部砍一半」有效得多,也不会误删关键信息。
没有海外卡也能调大模型:cocodot 的 OpenAI 兼容 API,改 base_url 就能调在售型号。
支付宝 / 微信支付(人民币)、USDT / USDC 充值 · 按 token 计费 · 改 base_url 即可接入
4. 对话类:历史不能无限往上堆
多轮对话默认把全部历史带上,轮数越多单次成本越高,而且迟早撞窗口上限。两种处理:滑动窗口(只保留最近 N 轮,系统提示固定保留)最简单;摘要压缩(把早期历史压成一段摘要,摘要本身也计 token)保留更多信息但要多一次调用。选哪个取决于早期上下文对当前回答有多重要:客服、问答类用滑动窗口基本够;写长文、做长期任务时用摘要。两者也可以叠加:最近几轮原文保留,更早的压成摘要。
5. agent 和工具调用:容易失控的地方
agent 场景里上下文往往增长得很快,因为每一步工具调用的输出都会被塞回下一轮。读一个大文件、抓一个网页、跑一次测试打出整屏日志,单次就可能吃掉大半个窗口。三个做法:给工具输出设上限(超出部分截断并注明「已截断,共多少行」);只回传需要的部分(比如测试只回传失败用例,网页只回传正文);按任务挂工具,用不到的工具别每轮都带上,工具说明和参数 schema 同样占 token。做完这三条,很多「agent 跑一会就报超限」的问题会直接消失。
6. 长文档:切分往往比换模型划算
把很长的文档整篇塞进去,即使模型吃得下,你也在为大量用不到的内容付钱。更好的做法是切成段各自处理再汇总(先分段摘要,再对摘要做最终回答),或者先检索出相关片段只发那几段。多次小调用的总成本通常低于一次巨大调用,而且哪一段出错只需重跑那一段。切分时注意在段落边界切,相邻段保留少量重叠,避免一句话被切成两半导致信息丢失。
7. 重试逻辑与什么时候才真该换长窗口模型
先说重试:超限和限流、过载不一样,它不会因为等一会就好转,原样重试只会重复失败。重试代码里要单独识别这类错误,走「裁剪后再发」的分支,而不是进入指数退避循环。限流和过载的处理见 /hub/api-429-rate-limit-concurrency-china 和 /hub/claude-api-529-overloaded。再说换模型:前面几步都做完仍然不够,才轮到换长窗口模型——比如需要模型同时看到整个代码库做全局判断,任何切分都会丢掉必要的关联。这种情况确实存在,但比大多数人以为的少。各模型当前的窗口上限以厂商官方页面为准。
8. 怎么快速试不同模型的窗口
如果你需要横向比较几个模型在同一份输入下的表现和成本,走 OpenAI 兼容接口最省事:base_url 填 `https://cocodot.co/api/ai/v1`,模型名换一个字符串就能切,不用改 SDK、不用重新申请 key。`GET https://cocodot.co/api/ai/v1/models` 可以拉出当前在售的模型清单,模型名填错的排查见 /hub/api-model-not-found-fix。价格方面,Claude / GPT / Gemini 各线挂牌价不超官网,逐型号以价格页实时标价为准(cocodot.co/pricing#models)。充值用支付宝 / 微信支付(人民币)、USDT / USDC,按量扣费。超时、连接失败这类其它报错的综合排查见 /hub/ai-api-errors-china-fix。
症状 → 根因 → 解法
| 症状 | 根因 | 解法 |
|---|---|---|
| 输入不长也报超限 | `max_tokens` 设得过大,和输入一起算 | 按实际需要调小 `max_tokens` |
| 对话前几十轮正常,后来突然报 | 历史全量累积 | 滑动窗口或摘要压缩 |
| agent 跑到一半报 | 工具输出(日志、网页、文件)原样塞回上下文 | 工具输出截断或只回传摘要 |
| 一贴长文档就报 | 整篇发送,真正用到的只是几段 | 先检索相关片段,或切分 + 汇总 |
| 加了很多工具后开始报 | 工具定义(函数说明、参数 schema)也占 token | 按任务只挂需要的工具 |
| 前面全做完仍然不够 | 任务确实需要模型同时看到全部内容 | 换长窗口模型(成本显著上升) |