1. 批量 Embedding 调用如何做速率控制、失败重试与断点续跑,避免重复计费与漏块
批量 Embedding 调用如何做速率控制、失败重试与断点续跑,以避免重复计费与漏块?
- 速率控制与限流
- 失败重试
- 断点续跑与幂等
批量 Embedding 需:速率控制(按 Provider 的 TPM/并发限制限流,用令牌桶/队列控制批次大小与速率);失败重试(429/限流按指数退避重试,可重试错误重试,不可重试错误记录并跳过);断点续跑(记录处理进度/水位线,重跑时从断点继续,不重复已成功的块);幂等(用文档/块 ID 作为去重键,重复处理不产生重复向量)。提交前记录"待处理块"清单,成功后标记完成,失败入队重试,避免重复计费(重试不重复记账)与漏块(失败的块必须重试或标记失败)。
批量管道的关键是"有界速率 + 可靠重试 + 可续跑 + 幂等"。速率防限流,重试防临时失败,断点续跑防重复,幂等防重复计费。进度与去重键是可靠性的核心。