Prompt/响应缓存、批处理 API 与异步化降本

共 17 题
#

1. Prompt 缓存的投入产出(写入成本、命中折扣、命中率)应如何计算,什么业务量级下显式配置缓存断点才值得,而非依赖 Provider 自动缓存

A 显式配置缓存断点永远值得
B 缓存值 = 命中率×命中折扣×请求量,只有请求量大、前缀稳定、命中率高时才值得显式配置缓存断点,否则依赖 Provider 自动缓存 ✓ 正确答案
C 命中率与缓存价值无关
D 缓存只在写入时计成本,命中无成本
#

2. 哪些任务适合从在线迁移到 Batch API,结果过期、失败部分重试与在线 SLA 的口径应如何设计

A 所有任务都适合迁移到 Batch
B 延迟不敏感、量大、异步领取的任务适合 Batch,设计结果过期、失败部分重试与按任务完成时间的 SLA 口径 ✓ 正确答案
C 实时问答也应走 Batch
D Batch 失败只能整批重跑
#

3. 把同步交互异步化(转任务队列 + 通知)后,成本应如何核算,如何防止用户反复轮询导致成本不降反升

A 异步化成本含任务与轮询/通知成本,优先用通知替代轮询、轮询只查状态不重算并限流,防止轮询成本不降反升 ✓ 正确答案
B 异步化后轮询不产生成本
C 用户应无限轮询直到完成
D 每次轮询都应重新执行任务
#

4. 缓存与批处理组合使用时,批任务结果更新引发的缓存失效应如何处理,防止在线读到过期答案

A 批结果更新后缓存无需处理
B 在线读取时无需校验缓存版本
C 缓存永远不失效最安全
D 批任务完成时主动失效相关缓存键、缓存带版本号校验、配合 TTL,保证"更新→失效"联动,防止在线读到过期答案 ✓ 正确答案
#

5. 如何评估不引入缓存的隐性成本——重复提问与长尾提问的比例应如何从日志采样估算成本差

A 从日志采样分析重复提问占比,估算引入缓存可省的成本(重复占比×全价与命中价差),据此判断是否引入缓存 ✓ 正确答案
B 重复提问不影响成本
C 长尾提问是缓存的主要价值
D 所有提问都能被缓存覆盖
#

6. Batch API 相对在线请求的折扣差应如何在租户账单中体现,节省部分是否应让利给租户

A Batch 折扣应全被平台吞掉
B 折扣不应让租户知道
C 租户用 Batch 与在线价格相同
D 折扣在租户账单中明确标注(Batch 按折扣价计费),建议让利激励租户用 Batch,形成平台降本与租户省钱的双赢 ✓ 正确答案
#

7. 高延迟任务异步化与用户体验的取舍应如何用成本与留存双指标衡量,而非只看节省金额

A 只看节省金额即可判断异步化是否值得
B 用成本与留存双指标 A/B 评估,省下的钱 vs 留存的损失,延迟敏感任务即使省钱也不宜异步化 ✓ 正确答案
C 异步化不影响留存
D 延迟敏感任务最适合异步化
#

8. 缓存命中带来的成本下降应如何在可观测看板中单独呈现,与流量自然下降区分开

A 看板同时展示流量与成本,把缓存命中率与缓存命中节省成本单独呈现,与流量下降归因区分开 ✓ 正确答案
B 成本下降都归因于流量下降
C 缓存命中不影响成本下降
D 无需区分降本原因
#

9. 响应缓存的粒度,整段缓存、分段缓存与语义缓存的命中率与失效成本差异应如何评估?

A 语义缓存命中率最高且无失效成本
B 三种粒度命中率相同
C 整段缓存命中率最高
D 整段命中率低但安全、分段居中、语义命中率高但误命中与失效成本高,按请求重复度与准确性要求选粒度 ✓ 正确答案
#

10. 批处理任务的调度与优先级,批任务优先级队列、公平性与在线请求的隔离(配额与背压)?

A 批任务按优先级与截止时间分多级队列并保证公平,与在线请求独立配额、过载用背压保护,在线优先 ✓ 正确答案
B 批任务与在线请求共享资源,随意抢占
C 批任务应优先于在线请求
D 批任务无需公平调度
#

11. 批处理任务与在线请求共享配额时,优先级与隔离应如何设置,防止批任务挤占在线请求

A 批任务与在线共用配额,先到先得
B 在线请求被 429 也没关系
C 批任务应优先获得配额
D 在线与批任务分池隔离或在线优先,批任务可让位可延迟,防止批任务挤占在线请求 ✓ 正确答案
#

12. 批处理 API 的降本幅度与交付延迟的取舍,离线任务选择 Batch 时,截止时间与结果领取如何设计?

A 为每个离线任务设截止时间,在时限内选最便宜的 Batch 策略,结果领取用回调+轮询兜底且幂等,超时则重跑或转在线 ✓ 正确答案
B Batch 无论如何都应在截止时间前完成
C 截止时间无关紧要
D 结果领取无需幂等
#

13. 异步化降本中队列深度与并发控制应如何设置,才能在不牺牲吞吐的前提下降低峰值资源成本?

A 并发应按峰值流量设置,确保不排队
B 并发控制不影响资源成本
C 队列深度越大越好
D 用队列削峰填谷,按平均吞吐+缓冲设并发,限流控制入队、监控队列深度,用恒定并发支撑波动流量降峰值资源成本 ✓ 正确答案
#

14. 缓存命中率优化,系统提示稳定化、请求字段规范化与动态内容后置应如何落地?

A 前缀内容变化不影响缓存命中
B 动态内容应放在最前面
C 系统提示稳定化、请求字段规范化、动态内容后置,让稳定前缀保持字节一致以提升 cache 命中率 ✓ 正确答案
D 时间戳应放在 Prompt 前部
#

15. 哪些非实时场景(报表生成、批量摘要、数据清洗)适合 Batch API,等待时长应如何向用户透明?

A 用户应盲等 Batch 结果
B 实时问答也适合 Batch
C 等待时长无需告知用户
D 报表生成、批量摘要、数据清洗等量大不敏感场景适合 Batch,并在提交时告知预计完成时间、展示进度、完成后通知 ✓ 正确答案
#

16. 响应缓存的语义匹配,相似度阈值与误命中控制?

A 语义缓存的相似度阈值越低越好
B 阈值越高命中率越高
C 语义匹配不会误命中
D 用标注样本校准相似度阈值,在误命中率可接受前提下最大化命中率,并用名单与回退机制控制误命中 ✓ 正确答案
#

17. 缓存与批处理组合的计费对账,缓存折扣与批量折扣叠加时的成本核算与归属?

A 叠加后按"原价-缓存折扣-批量折扣"逐层核算,缓存与批量折扣分别归属追踪,保留折扣明细支撑对账 ✓ 正确答案
B 两个折扣可随便叠加,无需明细
C 缓存折扣与批量折扣无法叠加
D 折扣归属无需区分