流量治理

共 22 题
#

1. AI 网关如何按成本/质量做模型级路由与降级

A 所有请求固定走最强模型
B 模型故障时无需降级
C 路由与成本无关
D 按请求复杂度和质量/成本敏感度路由模型,并设降级层级与健康状态动态调整 ✓ 正确答案
#

2. 高峰期请求排队与限流如何兼顾公平与优先级

A 优先级会破坏公平,应取消
B 高峰期一律先到先服务即可
C 用分桶配额保证公平,用优先级队列保障高优先级请求,配合超时降级 ✓ 正确答案
D 限流不需考虑用户维度
#

3. 模型级联(小型优先,失败升级大模型)的触发条件

A 小模型永远不升级
B 置信度低、任务复杂、校验失败等情况触发升级到大模型,并设升级次数上限防抖动 ✓ 正确答案
C 所有请求都直接走大模型
D 升级触发与质量无关
#

4. Token 预算耗尽时的用户级限速与排队体验

A 预算耗尽直接拒绝即可
B 预算限速无需告知用户
C 预算耗尽只能永久拒绝
D 用排队与降级保障体验,透明告知额度、恢复时间与升级路径 ✓ 正确答案
#

5. 基于语义的路由(简单问题走小模型)工程实现

A 所有问题都走同一个模型
B 用路由分类器判断问题复杂度,简单走小模型、复杂走大模型,并设保守策略 ✓ 正确答案
C 语义路由无法判断复杂度
D 路由分类器准确性不重要
#

6. AI 流量治理的可观测性指标设计与看板

A 成本指标与流量治理无关
B 只需看总请求量
C 治理动作无需观测
D 分层监控流量/限流/排队/降级/模型健康/成本指标,支持下钻与告警 ✓ 正确答案
#

7. 多 Provider 故障时的流量切换与优雅降级策略

A 单一 Provider 即可,无需冗余
B Provider 故障无需降级
C 故障切换不需要快速
D 用多 Provider 冗余+故障检测+自动切换,全部故障时优雅降级到缓存或兜底 ✓ 正确答案
#

8. 区域流量就近接入与跨境合规的路由约束

A 先按合规确定可路由区域集合,再在合规集合内就近选择,强约束区域禁止跨区 ✓ 正确答案
B 跨境合规与路由无关
C 只要就近即可,忽略合规
D 就近接入优先于一切
#

9. 灰度流量与生产流量在网关层的隔离手段

A 灰度与生产共享一切资源
B 灰度可挤占生产配额
C 缓存无需隔离
D 请求带灰度标识,按标识隔离版本、缓存、配额与观测,避免串扰 ✓ 正确答案
#

10. 流量治理规则的热更新与版本管理

A 规则存配置中心热更新、版本化并支持回滚,变更前校验并灰度下发 ✓ 正确答案
B 治理规则改完需重启才生效
C 治理规则无需版本化
D 规则变更不可回滚
#

11. AI 依赖(模型/检索/工具)故障注入演练如何设计

A 故障只能在真实故障时发现
B 故障注入只会破坏系统
C 主动注入模型/检索/工具故障,验证检测、降级与恢复能力并校准阈值 ✓ 正确答案
D 演练无需验证恢复能力
#

12. 工具调用超时/异常时 Agent 的降级路径设计

A 设置超时重试,并提供重试/跳过/备选工具/明确告知等降级路径 ✓ 正确答案
B 工具故障无需处理
C 工具失败时 Agent 应直接卡死
D 降级路径会暴露错误给用户
#

13. 模型输出格式异常时如何用 schema 校验并兜底

A 模型输出格式通常正确,无需校验
B 兜底会让输出更差,应直接抛错
C 用 schema 校验输出结构,失败时重试/宽松解析/修复/兜底,保证下游拿到合法数据 ✓ 正确答案
D 格式异常无法处理
#

14. 关键业务链路的 AI 降级开关如何设计避免雪崩

A AI 故障无需隔离
B AI 故障会导致整个业务崩溃
C 用熔断器+降级开关,AI 故障时快速切断并走缓存/规则/兜底,保护主链路 ✓ 正确答案
D 降级开关只能手动
#

15. 多 Agent 系统的级联失败混沌演练应如何设计,演练结果如何校准熔断阈值与恢复策略

A 注入 Agent 故障观察级联效应,用演练结果校准熔断阈值、超时重试与恢复策略 ✓ 正确答案
B 单 Agent 故障不会影响其他 Agent
C 级联失败无需演练
D 混沌演练无法验证级联
#

16. 从故障演练反推的架构改进闭环

A 演练完成即结束,无需改进
B 演练暴露弱点→架构改进→再演练验证,形成持续闭环并沉淀文档 ✓ 正确答案
C 演练发现的问题无需处理
D 改进后无需再验证
#

17. 流量治理的配额与预算,按租户/功能的 token 预算、动态配额与超支拦截的工程实现?

A 所有租户共用无限预算
B 超支无法拦截
C 预算治理只需事后看账单
D 按租户/功能设 token 预算、实时计量、动态配额,超支时拦截或降级 ✓ 正确答案
#

18. Provider 限流(429)的退避与重试最佳实践

A 尊重 Retry-After、用指数退避+抖动并限制重试次数,避免重试风暴 ✓ 正确答案
B 429 后应立刻高强度重试
C 429 无需重试策略
D 重试次数越多越好
#

19. AI 应用混沌工程与传统微服务的异同

A 两者完全相同
B 混沌工程与 AI 无关
C 目标与手段相同,但 AI 需额外注入模型退化/质量/成本等软故障,验证更复杂 ✓ 正确答案
D AI 只需注入网络故障
#

20. 故障复盘中的 AI 特有根因(Prompt 漂移/数据变化)

A AI 故障根因只有代码
B Prompt 漂移不可能发生
C 数据变化不影响 AI 故障
D Prompt 漂移、数据变化、模型更新等非代码变更也是 AI 常见根因,需逐一排查 ✓ 正确答案
#

21. 韧性目标(SLO)在 AI 应用中的可量化定义

A SLO 只能定义可用性
B 应把可用性、延迟、质量(准确率/引用支持率)与成本都量化为可测可告警的 SLO ✓ 正确答案
C AI 质量无法量化进 SLO
D SLO 无需告警
#

22. 模型灰度的评估闭环,影子流量、指标对比(质量/延迟/成本)与放量决策的流程?

A 灰度直接全量放量即可
B 影子流量验证→统一指标对比(质量/延迟/成本)→按阈值阶梯放量→持续监控,形成闭环 ✓ 正确答案
C 灰度指标对比可以随意
D 放量决策无需数据支撑