团队批量调用 AI API:队列恢复、任务去重与 Agent 上线验收
面向客服、电商内容和 Agent 批量任务,按任务状态记录尝试、控制并发、恢复失败项,并核对每次交付费用。
1. 任务编号固定,尝试编号每次不同
先以商品编号、目标语言、模板版本等生成业务任务标识,再给每次模型请求分配独立的 attempt_id。任务表保存输入版本、状态与最终结果位置,尝试表保存型号、开始结束时间、错误类别和实际用量。重试沿用同一个任务标识,新增尝试记录,而不是假装这是一个新业务需求。这样你的客服草稿或电商内容即使经历几次生成,也能汇总到同一笔交付。不要把身份数据或完整提示词塞进任务编号;记录所需引用和版本即可。这里的编号与表结构由你的系统维护,并非平台替请求提供业务幂等承诺。
job: job_id, input_version, state, result_ref
attempt: attempt_id, job_id, requested_model, started_at, ended_at, usage, charge_state
delivery: job_id (unique), accepted_result_ref, delivered_at
queued -> claimed -> attempted -> validated -> delivered
interrupted attempt -> unresolved -> reconcile -> retry_or_review2. 测响应之外,还要测能否交付
上线前分别测量交互任务和离线任务:交互任务看首段响应时间,离线任务看整体耗时、队列年龄和最终合格结果。使用一组脱敏真实输入,覆盖短文、长文、多语言和异常参数,固定验收条件后逐步增加并发。不要只看平均耗时,单独检查长尾任务,确认它们是否挤占 worker。结果正常返回后,还要检查字段、事实依据和业务可用性。记录试验时间、型号与配置,让下一次测试可复现。这些是团队自己的测量结果,不可从一次小样本外推平台容量或长期表现。不要凭宣传给生产任务设假定的延迟保证。
3. 超时后保留未知状态,不整批重跑
客户端没收到完整响应,只能说明你没有拿到完整结果,不能直接证明模型没有处理。建议把这次尝试记为待核对,保存开始时间与可用的请求标识,核对能够查到的用量和扣费,再按任务政策决定是否重试。一个批次中已验收的任务保持完成,只重新领取允许重试的未完成项。对已收到但尚未发布的结果,先校验并落盘,避免因为进程重启又生成一遍。将失败分成输入问题、权限问题、余额问题和暂时错误,修原因与退避重试分别处理。通用排错入口见 /hub/ai-api-errors-china-fix,别把每次超时都写成“未发生费用”。
4. worker 要有领取期限与结果去重
你的队列可以用领取期限保护任务:worker 领取时写入 owner 和到期时间,运行期间按应用设计续期;超过期限且没有有效结果的任务才重新进入候选队列。保存最终结果时用任务标识做唯一约束或条件更新,确保重复 worker 只有一个能完成业务落库。调用外部业务工具时也要另做去重,尤其是发送客户消息、修改库存或发布内容。模型可能重新生成,但业务动作不能跟着重复。这里只是应用实现建议,不宣称模型接口接受你自定义的幂等头就能免除重复生成费用。上线前主动终止一个测试 worker,验证接手与保存的行为,别等生产中断才第一次演练。
5. 并发增加前,把重试层数数清楚
为每条任务配置总截止时间和最多尝试次数;全服务限制在途数,租户再各自限制并发。短交互与后台长任务建议分队列,避免一批长输入堵住客服草稿。临时错误需要重试时,带随机抖动退避并遵守可用的等待提示;权限、参数和余额问题先停派发修复。检查客户端、工作流框架和 worker 是否各有重试循环,统一由一个地方掌握总预算,防止层层叠加。加并发后若队列年龄没有下降、耗时反而上升,就暂停扩量,先找瓶颈。详细限流方法见 /hub/api-429-rate-limit-concurrency-china。本文不提供固定的可用并发数字,按自己的实测门槛推进。
6. Agent 的工具循环也要能恢复
cocodot 工具调用只接受函数工具;搜索、执行代码或查询业务系统由你的程序执行,然后把结果返回给模型。为每个工具动作记录任务标识、工具名、参数校验结果和业务动作状态。恢复时先检查这个动作是否已完成,不要只根据“上一轮模型响应丢失”就再执行一次。Agent 的模型步数、工具步数、总时间和总预算都应设上限,超过后保留中间状态交人工处理。工具输出也要有长度限制与输入校验,避免无关文本不断滚入下一轮上下文。长链成本保护见 /hub/agent-api-cost-runaway;做多租户产品时,配合 /hub/saas-multi-model-api-integration 的后端边界一起设计。
7. 按批次核账,区分已结算与在途
建议为每个批次汇总已结算费用、在途预算预留和待核对尝试,按任务标识合并所有生成与校验成本。派发前检查三者之和,而不是只读已经完成的那部分消费。cocodot 余额用完后新请求被拒,已发出的仍可能计费;用量缺失时可能按接口兜底规则估算,最终以账单为准,不能用余额耗尽来精确终止所有在途工作。应用日志缺用量时保留待核对,不用可见文字长度估算成零。对最终合格数为零的批次标为没有完成交付,并调查原因,不要拿请求均价当成果。只增加并发可能更快地产生不合格结果,核账必须同时连到验收记录。
8. 上线清单从一次中断恢复开始
接入前注册、验证邮箱并完成实名认证,按需要准备余额与创建 key。OpenAI 兼容 base URL 为 https://cocodot.co/api/ai/v1,服务端用 Authorization: Bearer 鉴权;key 可命名可吊销,一个账号最多同时持有 10 把。免费体验额度只可调部分低价型号。充值方式为支付宝 / 微信支付(人民币)、USDT / USDC。Claude / GPT / Gemini 各线挂牌价不超官网,逐型号以价格页实时标价为准。先用一组任务验证领取、调用、校验、保存、重启恢复和费用归属,再逐步扩大。遇到持续问题可按 https://cocodot.co/docs 现有指引在控制台内联系客服,提供脱敏的时间、型号和错误类别,不发送 key 或客户原文。
| 中断位置 | 应用中建议保留的状态 | 恢复前先检查 |
|---|---|---|
| 尚未发送 | 排队中 | 预算和输入版本 |
| 发送后无完整响应 | 结果待核对 | 尝试记录与可查用量 |
| 有结果但未保存 | 结果待校验 | 内容与任务标识匹配 |
| 已验收并发布 | 已完成 | 避免重复执行业务动作 |