cocodot
← 返回教程
国内卡付不了海外 AI?cocodot 一张卡 + 一个 Key 搞定
排障指南更新于 2026-10

报错 context_length_exceeded / 上下文超限 / token 超出限制怎么办?先算账再裁剪的六步排查(2026)

上下文超限不是「换个更大窗口的模型」就完了。先搞清楚是输入超了还是输入+输出一起超了,再按组成拆账找出到底是谁在膨胀,然后决定该裁剪、该切分、还是该换模型——顺序反了会白花钱。

一句话结论:这个报错说的是「输入 token + 你要求的输出 token」超过了模型的上下文窗口,注意是两者相加。所以有时候你的输入并不算长,只是 `max_tokens` 设得太大,一样会触发。它属于请求本身的问题:原样重试必然再失败,重试逻辑里要把它排除掉。按顺序处理:① 先算清楚你实际发了多少 token,并且按组成拆账(系统提示、工具定义、对话历史、检索文档、工具输出各占多少);② 裁掉不该发的东西 —— 早期对话轮次、重复的系统提示、整篇贴进去但只用到一小段的文档、agent 循环里越积越长的工具输出;③ 切分处理 —— 长文档分段处理再汇总;④ 确实需要长窗口时再换模型。先换大窗口模型是成本更高的解法,而且经常治标不治本 —— 上下文继续增长,过几天照样撞墙。

1. 先算清楚,别估

很多人报这个错时,并不知道自己实际发了多少 token。粗略换算只够判断量级:中文、代码和 JSON 通常比英文更费 token,同样字数的中文往往比英文多出不少。真要定位,就看接口返回里的 usage 字段(输入 token 数),或者在发送前本地用对应模型的 tokenizer 数一遍。报错时请求没被处理,拿不到 usage,那就用最近一次成功请求的 usage 加上这次新增的内容来推算。没有这个数字,后面每一步都是猜。

2. 记住是「输入 + 输出」一起算

这是一种常见误解。上下文窗口容纳的是输入加上模型将要生成的输出,`max_tokens` 是你预留给输出的那一块,设得越大,留给输入的空间越小。一个输入并不长的请求,配上一个夸张的 `max_tokens`,照样会超限。可以记一条预算公式:可用输入 = 模型窗口 − max_tokens − 安全余量。安全余量留给系统提示和工具定义的波动,别把窗口算满。遇到这个错先看一眼 `max_tokens` —— 有时候把它从一个很大的值调到任务真正需要的长度就解决了,而且顺带省钱。

3. 按组成拆账:找出到底是谁在膨胀

这一步常被跳过,但很省时间。把一次请求拆成五块分别数 token:系统提示、工具定义、对话历史、检索或粘贴进来的文档、上一轮工具输出。在发送前把这五个数打进日志,一眼就能看出问题在哪:系统提示每轮都一样却越改越长,说明提示需要瘦身;历史占了大头,说明需要窗口策略;某次工具输出一下子几万 token,说明有个工具把整份日志或整页网页原样回传了。拆完账再动手,比盲目「全部砍一半」有效得多,也不会误删关键信息。

没有海外卡也能调大模型:cocodot 的 OpenAI 兼容 API,改 base_url 就能调在售型号。

支付宝 / 微信支付(人民币)、USDT / USDC 充值 · 按 token 计费 · 改 base_url 即可接入

4. 对话类:历史不能无限往上堆

多轮对话默认把全部历史带上,轮数越多单次成本越高,而且迟早撞窗口上限。两种处理:滑动窗口(只保留最近 N 轮,系统提示固定保留)最简单;摘要压缩(把早期历史压成一段摘要,摘要本身也计 token)保留更多信息但要多一次调用。选哪个取决于早期上下文对当前回答有多重要:客服、问答类用滑动窗口基本够;写长文、做长期任务时用摘要。两者也可以叠加:最近几轮原文保留,更早的压成摘要。

5. agent 和工具调用:容易失控的地方

agent 场景里上下文往往增长得很快,因为每一步工具调用的输出都会被塞回下一轮。读一个大文件、抓一个网页、跑一次测试打出整屏日志,单次就可能吃掉大半个窗口。三个做法:给工具输出设上限(超出部分截断并注明「已截断,共多少行」);只回传需要的部分(比如测试只回传失败用例,网页只回传正文);按任务挂工具,用不到的工具别每轮都带上,工具说明和参数 schema 同样占 token。做完这三条,很多「agent 跑一会就报超限」的问题会直接消失。

6. 长文档:切分往往比换模型划算

把很长的文档整篇塞进去,即使模型吃得下,你也在为大量用不到的内容付钱。更好的做法是切成段各自处理再汇总(先分段摘要,再对摘要做最终回答),或者先检索出相关片段只发那几段。多次小调用的总成本通常低于一次巨大调用,而且哪一段出错只需重跑那一段。切分时注意在段落边界切,相邻段保留少量重叠,避免一句话被切成两半导致信息丢失。

7. 重试逻辑与什么时候才真该换长窗口模型

先说重试:超限和限流、过载不一样,它不会因为等一会就好转,原样重试只会重复失败。重试代码里要单独识别这类错误,走「裁剪后再发」的分支,而不是进入指数退避循环。限流和过载的处理见 /hub/api-429-rate-limit-concurrency-china 和 /hub/claude-api-529-overloaded。再说换模型:前面几步都做完仍然不够,才轮到换长窗口模型——比如需要模型同时看到整个代码库做全局判断,任何切分都会丢掉必要的关联。这种情况确实存在,但比大多数人以为的少。各模型当前的窗口上限以厂商官方页面为准。

8. 怎么快速试不同模型的窗口

如果你需要横向比较几个模型在同一份输入下的表现和成本,走 OpenAI 兼容接口最省事:base_url 填 `https://cocodot.co/api/ai/v1`,模型名换一个字符串就能切,不用改 SDK、不用重新申请 key。`GET https://cocodot.co/api/ai/v1/models` 可以拉出当前在售的模型清单,模型名填错的排查见 /hub/api-model-not-found-fix。价格方面,Claude / GPT / Gemini 各线挂牌价不超官网,逐型号以价格页实时标价为准(cocodot.co/pricing#models)。充值用支付宝 / 微信支付(人民币)、USDT / USDC,按量扣费。超时、连接失败这类其它报错的综合排查见 /hub/ai-api-errors-china-fix。

症状 → 根因 → 解法

症状根因解法
输入不长也报超限`max_tokens` 设得过大,和输入一起算按实际需要调小 `max_tokens`
对话前几十轮正常,后来突然报历史全量累积滑动窗口或摘要压缩
agent 跑到一半报工具输出(日志、网页、文件)原样塞回上下文工具输出截断或只回传摘要
一贴长文档就报整篇发送,真正用到的只是几段先检索相关片段,或切分 + 汇总
加了很多工具后开始报工具定义(函数说明、参数 schema)也占 token按任务只挂需要的工具
前面全做完仍然不够任务确实需要模型同时看到全部内容换长窗口模型(成本显著上升)

常见问题

报 context_length_exceeded 会扣费吗?

请求被拒时模型没有真的处理,通常不产生费用。但如果是分批调用中途失败,前面已成功的那些照常计费;具体以服务商账单为准。

我的输入明明不长,为什么还是提示上下文超限?

先看 `max_tokens`。窗口按「输入 + 预留输出」一起算,`max_tokens` 设得过大会直接吃掉可用空间。另外检查工具定义和系统提示,它们不显眼但每轮都在计数。

对话太长报错,怎么在不丢信息的前提下继续?

最近几轮原文保留,更早的历史压成一段摘要再带上。网页聊天界面里也可以手动做:让模型总结前文,把总结贴进新对话继续。

上下文窗口越大越好吗?

不是。窗口大只是上限高,你仍然为实际发送的每个 token 付费;而且过长的上下文会让模型更难聚焦到关键信息。够用就行,先裁剪和切分,再考虑换模型。

这个错要不要自动重试?

不要原样重试,它是请求本身超了,重试必然再失败。正确做法是识别这类错误后先裁剪(截断工具输出、压缩历史、调小 `max_tokens`)再重发。

关于 cocodot

cocodot 是面向中国大陆开发者与出海团队的支付与 AI 接入服务:由持牌机构发行的美国卡段虚拟卡(用于在海外网站完成订阅与广告扣费),以及 OpenAI 兼容的 AI API 中转(在中国大陆直连调用 Claude、GPT、Gemini)。两者共用同一个钱包,支持支付宝 / 微信支付(人民币)、USDT / USDC 充值、以美元记账。卡费率:开卡 $9.9、充值到卡 3%、每张活跃卡每月 $1;消费:单笔 <$20 收 $0.60 结算费;发卡方按笔收费时另收相应费用。

服务范围、价格与能力边界 →
OpenAI 兼容 API · 人民币充值开通 API