Prompt Caching 四层与失效防护

共 17 题
#

1. Provider 原生 Prompt Cache、Server 端 KV Cache、Semantic Cache 和 Result Cache 在命中键、过期机制与一致性边界上各自如何设计,多层缓存如何协同

A 先查 Result/Semantic 等整包缓存,再走 Provider 原生与 Server KV 前缀类缓存,逐层回源 ✓ 正确答案
B 随机选择一层
C 只用 Provider 原生缓存
D 四层同时独立返回
#

2. Provider 原生 Prompt Cache 的最低计费块、自动前缀匹配和显式断点应如何在长上下文请求中排布

A 把动态内容放在最前
B 每次请求都随机打乱顺序
C 忽略最低计费块
D 稳定内容前置形成稳定前缀、动态内容后置,并用显式断点分隔可缓存段 ✓ 正确答案
#

3. Semantic Cache 相似度阈值、向量索引版本和 TTL 应如何针对 FAQ、代码生成、创意写作等不同业务差异化

A 所有业务用同一阈值和 TTL
B 创意写作缓存最长
C FAQ 用较高阈值较长 TTL,代码生成用更高阈值更短 TTL,创意写作几乎不缓存 ✓ 正确答案
D 代码生成 TTL 最长
#

4. Prompt Cache 的分层(前缀缓存、系统提示缓存、语义缓存)应如何组合,各层的命中判定与失效策略如何设计

A 永不失效
B 版本号变更即全量失效,避免旧缓存污染 ✓ 正确答案
C 只靠 TTL
D 随机失效
#

5. Result Cache 在哪些确定性任务上安全,模型、Prompt 和知识库版本变化时为何必须主动失效

A 任何任务都缓存
B 版本变化无需失效
C 仅确定性任务,且缓存键含模型/Prompt/知识库版本号,版本变化即失效 ✓ 正确答案
D 非确定性任务也缓存
#

6. Server 端 KV Cache 的跨实例不可见、内存淘汰与回填等行为,应用层应通过哪些指标(命中率、内存水位、首字延迟)观测与调优

A 用一致性路由把相同前缀固定到同一实例,并做预热与内存水位调优 ✓ 正确答案
B 提高内存水位到无限
C 随机路由到任意实例
D 忽略命中率指标
#

7. 多层缓存同时启用时,旧缓存污染、缓存击穿和跨账户污染应如何通过命名空间、签名和刷新策略阻断

A 只加命名空间
B 只加签名
C 不做任何隔离
D 命名空间隔离+缓存键签名版本校验+击穿防护 ✓ 正确答案
#

8. 缓存命中率、字节命中率和成本节省率应如何分别统计,避免只看命中而忽略成本

A 字节命中率与成本节省率,结合命中率联合解读 ✓ 正确答案
B 仅请求命中率
C 只统计请求数
D 忽略 token 维度
#

9. 缓存内容中含敏感数据时,加密、访问控制和清除路径应如何在协议和存储两侧共同实现

A 明文存储即可
B 存储侧加密+协议侧鉴权+键脱敏+主动清除与 TTL 兜底 ✓ 正确答案
C 无需访问控制
D 密钥与缓存同存
#

10. 缓存失效与一致性,知识库、Prompt 或模型版本更新后,各层缓存应如何主动失效并避免读到旧答案

A 依赖缓存自然过期
B 把版本号编入缓存键并主动按域批量失效,压缩一致性窗口 ✓ 正确答案
C 不更新缓存
D 重启缓存服务
#

11. 多模态输入的缓存,图像/音频 token 的缓存支持与折扣、动态内容(时间戳/随机数)对缓存命中的影响?

A 无影响
B 提升命中率
C 只影响多模态
D 埋在稳定前缀中会破坏前缀匹配,应把动态内容后置或结构化以保持前缀稳定 ✓ 正确答案
#

12. 缓存的命中策略,前缀对齐、系统提示稳定性与动态内容后置如何配合提升命中率

A 前缀对齐+系统提示稳定+动态内容后置 ✓ 正确答案
B 动态内容前置
C 系统提示每次变化
D 随机排序
#

13. 缓存版本变化触发瞬时回源压力时,应用层降级、预热和并发限制应如何协同

A 预热+并发限制+分级降级 ✓ 正确答案
B 只预热
C 只限流
D 不做任何处理
#

14. 缓存的成本与收益评估,命中率提升带来的延迟与计费节省应如何量化,什么情况下缓存投入不划算

A 命中率高且前缀稳定
B 任何情况都划算
C 命中率低、请求过于个性化、缓存存储成本高或错误命中代价大 ✓ 正确答案
D 只算延迟不算成本
#

15. 多租户下的缓存隔离,缓存键、命中判定与存储应如何按租户隔离,防止跨租户数据泄漏

A 缓存键含租户 ID+命中校验归属+存储隔离 ✓ 正确答案
B 不做命中校验
C 明文共享存储
D 所有租户共享一个键
#

16. 缓存的计费,不同 Provider 的缓存折扣、最低计费块与命中计费差异应如何对比并纳入选型评估

A 忽略最低计费块
B 只看基础单价
C 用真实请求分布代入各 Provider 的折扣、最低计费块与命中计费规则测算总成本 ✓ 正确答案
D 只看命中率
#

17. 缓存键的规范化,空白、换行与消息格式差异对 Provider 前缀缓存命中的影响与规范化策略?

A 让逻辑相同的请求字节级一致,避免格式差异导致漏命中 ✓ 正确答案
B 改变语义
C 降低模型质量
D 增加随机性