能力边界与应用架构

共 27 题
#

1. 如何区分幻觉、知识过期、引用失真和采样不稳定,并为每类问题设计不同缓解路径

A 四类问题是同一根因,用同一手段缓解
B 幻觉靠证据约束、知识过期靠注入最新知识、引用失真靠引用校验、采样不稳定靠采样控制,应分类治理 ✓ 正确答案
C 引用失真与幻觉完全相同
D 采样不稳定靠检索解决
#

2. 订单金额、权限判断等确定性规则与意图分类、文案生成等模型判断应如何划界

A 有确定性算法且错误代价高的任务必须用代码实现,模型只做开放性任务,关键结果由代码兜底校验 ✓ 正确答案
B 模型算金额比代码更准确
C 金额、权限等计算可交给模型,更智能
D 权限判断适合模型
#

3. 哪些决策“绝不能”由模型独立完成,必须保留人工签字与可解释日志

A 模型可独立完成财务、法律、医疗等高风险决策
B 高风险决策无需日志
C 高风险决策需"模型建议 + 人工审批",并保留完整可解释日志与责任归属 ✓ 正确答案
D 人工审批只适用于行政任务
#

4. 从 PoC 到生产的迁移路径中,模型替换、Prompt 重写、能力降级和评审制度分别如何设计

A 评审只针对 PoC
B PoC 的 prompt 与模型可直接用于生产
C 生产无需降级路径
D 生产迁移需模型选型评估、Prompt 结构化、能力降级路径与评审门禁,按影子-灰度-全量分阶段推进 ✓ 正确答案
#

5. 何时让用户请求同步等待,何时转为带状态查询、通知和取消能力的异步任务

A 所有请求都应同步等待
B 异步任务无需状态查询
C 短耗时即时交互用同步,长耗时任务转异步并具备状态查询、通知与取消能力 ✓ 正确答案
D 异步任务无法取消
#

6. 如何为低置信、无证据、模型超时和 Provider 故障设计人工审核与分层回退

A 低置信/无证据转人工或拒答,超时/故障走降级重试,按"增强-降级-人工-拒答"分层回退 ✓ 正确答案
B 模型超时无需处理
C 无证据时模型应硬编一个答案
D 四类异常都用同一回退方式
#

7. 如何通过影子流量、特性开关、灰度放量和自动回滚发布模型或 Prompt 变更

A 模型/Prompt 变更可直接全量上线
B 用影子流量预验证 + 特性开关可逆 + 灰度放量渐进 + 自动回滚兜底来安全发布变更 ✓ 正确答案
C 变更不可回滚
D 特性开关只用于前端
#

8. 如何为模型输出引入分级审计,白名单(自动通过)、灰名单(人工抽检)

A 所有输出都需人工审核
B 黑名单可自动通过
C 白名单无需校验即可放行
D 白名单自动通过、灰名单人工抽检、黑名单强制人工审批,按风险/置信/可校验性分层审计 ✓ 正确答案
#

9. 应用层如何在不重新训练模型的前提下识别与缓解幻觉,证据校验、拒答阈值、约束解码与人工复核应如何组合

A 幻觉只能靠重新训练解决
B 提示词可根除幻觉
C 拒答阈值只影响延迟
D 应用层用证据校验、拒答阈值、约束解码、人工复核组合缓解幻觉,按风险等级动态组合 ✓ 正确答案
#

10. “模型即产品”和“模型即服务”两种集成方式在 SLA、责任边界、定价和可观测性上如何区分

A 两种集成方式的 SLA 与责任完全相同
B 模型即服务也承担输出质量责任
C 模型即产品对最终结果负责(端到端 SLA、打包定价);模型即服务只对调用负责(模型可用性 SLA、按 token 计费) ✓ 正确答案
D 模型即产品不可观测
#

11. 架构图中如何清晰标注“确定性路径”和“概率性路径”,并在故障演练中按路径独立恢复

A 两条路径无需区分,故障影响相同
B 架构图用符号/颜色区分确定性路径与概率性路径,故障演练按路径独立设计降级与恢复 ✓ 正确答案
C 概率性路径故障不影响确定性操作,无需演练
D 两条路径必须强耦合
#

12. RAG、Prompt Engineering 与应用内置能力的应用层选型决策树,什么业务信号说明该从检索增强入手、什么该优化提示词?

A 所有问题都该用 RAG 解决
B 依赖外部/动态知识用 RAG,仅表达/格式问题优化 Prompt,有确定性规则用代码,按信号分流 ✓ 正确答案
C 代码永远不该参与
D 提示词能解决知识不足
#

13. 怎样向产品方解释概率性输出的业务风险,并把“不确定”转化为可验收的质量指标

A 把概率性风险转化为准确率/错误率/幻觉率等量化指标与验收阈值,用评估集持续度量 ✓ 正确答案
B 概率性输出不可量化,只能口头承诺
C 模型输出与确定性系统等价
D 质量指标无法验收
#

14. 什么场景应直接使用搜索、规则引擎或传统数据库查询,而不应引入生成模型

A 所有查询都应改用生成模型
B 生成模型比数据库更准确
C 能精确查询、规则可表达、结果需可复现校验的任务应用代码/查询/规则引擎,模型只做理解与生成 ✓ 正确答案
D 规则引擎已过时
#

15. 为什么给所有请求统一加一层“保险 Prompt”(如“请谨慎回答”)并非有效策略,反而会引入冗余与不一致,正确的护栏设计应是什么

A 统一加"请谨慎回答"能保证所有场景安全
B 统一保险 Prompt 引入冗余与不一致,应按风险分层并用 schema/过滤/审批等硬约束作护栏 ✓ 正确答案
C 提示词上的"谨慎"能根除风险
D 所有任务都应同等约束
#

16. 工程团队应如何以概率化质量指标和分层兜底机制回应业务方对“AI 输出不稳定”的质疑

A 无法回应"AI 不稳定"的质疑
B 稳定性只能靠调高 temperature
C 用量化质量指标 + 波动来源分析 + 分层兜底 + 持续改进趋势来回应业务方质疑 ✓ 正确答案
D 分层兜底无意义
#

17. 如何衡量“引入 AI”的边际收益(节省时间/提升准确率/转化)

A 边际收益无法衡量
B 只看功能上线即可,无需量化
C 用基线对比 + A/B 实验 + 全成本核算,从节省时间、准确率、转化三维度衡量 AI 边际收益 ✓ 正确答案
D 边际收益等于总收入
#

18. 为什么 AI 应用的可观测性比传统服务更难,需要哪些跨团队(数据、平台、业务)协作与指标约定?

A AI 可观测性与传统服务难度相同
B 只需平台团队观测延迟即可
C AI 还需观测质量/成本/上下文/版本,需数据、平台、业务三方统一指标口径、埋点与看板协作 ✓ 正确答案
D 质量指标无需约定
#

19. 怎样保留足够的决策证据,又不在日志和追踪中泄露原始敏感内容

A 证据必须记录完整原文,否则无法审计
B 用脱敏、内容引用、指纹、分级与权限控制,让证据可追溯而不泄露敏感原文 ✓ 正确答案
C 敏感内容可直接进日志
D 脱敏后无法审计任何内容
#

20. 哪些风险信号必须阻断执行并请求人工审批

A 高风险/敏感/不可逆/低置信且有重大影响的操作必须阻断执行并请求人工审批 ✓ 正确答案
B 低置信即可自动执行
C 模型可自主执行所有高后果操作
D 阻断只适用于闲聊
#

21. 怎样向下游表达置信边界、缺失信息和不可用状态

A 只需返回文本,下游自己判断
B 置信度无法表达
C 用结构化字段显式表达置信度、缺失信息与不可用状态,让下游正确渲染与决策 ✓ 正确答案
D 不可用状态用文本暗示即可
#

22. 写后读一致性,业务数据变更(订单状态、权限更新)与模型知识/缓存不同步时,如何用上下文注入、缓存失效与结果校验保证一致性?

A 用最新上下文注入 + 变更时缓存失效 + 关键字段结果校验,保证业务变更后模型读到一致数据 ✓ 正确答案
B 模型知识总能跟业务数据同步
C 缓存永远新鲜,无需失效
D 结果校验无必要
#

23. Prompt、模型与工具之间哪些隐含契约(字段格式、错误语义、顺序假设)最容易导致行为漂移,应如何显式化

A 隐含契约无法显式化
B 工具 schema 变化无需同步模型
C 错误语义模型总会理解
D 字段格式、错误语义、顺序假设等隐含契约易致漂移,应写成 schema/错误码表并用契约测试锁定 ✓ 正确答案
#

24. 重试、补偿、降级与人工接管的责任边界如何确定

A 所有失败都应无限重试
B 四机制职责重叠,无边界
C 重试管瞬时故障、补偿管部分执行、降级管可用性、人工管不可自动恢复,按可恢复性分层 ✓ 正确答案
D 降级不需要人工接管配合
#

25. 前端、Java 业务服务、模型网关、知识库、工具服务和审计系统各应承担哪些职责

A 审计应由前端负责
B 业务服务应直接调模型,不走网关
C 前端管展示、业务服务管编排、网关管模型与限流、知识库管检索、工具服务管执行、审计独立追溯 ✓ 正确答案
D 知识库应由业务服务直接查库
#

26. 多模型混部时(通用、推理、视觉、Embedding、重排),如何按任务维度路由而不是按用户随机分配

A 按任务能力需求(模态/复杂度/预算)建立"任务类型→模型"路由表,让各模型各司其职 ✓ 正确答案
B 所有任务都用同一最强模型
C 按用户随机分配模型最公平
D 任务路由与模型能力无关
#

27. 金额计算、日期换算、单位转换等确定性处理为何必须用代码而非 Prompt 实现,模型参与时如何兜底校验?

A 金额计算交给模型更智能
B 模型计算金额精确无误
C 金额/日期/单位换算是确定性计算必须用代码,模型只做提取理解,实际计算与校验由代码兜底 ✓ 正确答案
D 模型提取结果无需校验