人类复核与模型替换

共 28 题
#

1. AI 决策可解释性(Explainability)的真实边界

A LLM 可完全解释
B CoT 一定是真实推理
C LLM 可解释性有限,工程上追求可追溯可审计而非原理解释 ✓ 正确答案
D 可解释性无需生产应用
#

2. AI 输出置信度在 UI 中的真实呈现方式

A 置信度 UI 提升信任,但 LLM 置信度需校准,应结合引用与人工兜底 ✓ 正确答案
B LLM 置信度完全可靠
C 置信度无需展示引用
D 置信度百分百准确
#

3. Human-in-the-Loop 在 AI 系统中的真实设计模式

A HITL 只有一种模式
B HITL 有审批流、预览确认、人机分配、主动学习等模式,靠触发条件平衡质量效率 ✓ 正确答案
C HITL 无需触发条件
D HITL 降低质量
#

4. 主动学习(Active Learning)在人工标注中的真实价值

A 主动学习挑高价值样本标注,降本提效,适合标注贵、样本多场景 ✓ 正确答案
B 主动学习随机标注
C 主动学习无价值
D 主动学习不需评测
#

5. 人工标注质量控制(QC)的真实工程经验

A 标注无需 QC
B 标注一致性无关
C 标注 QC 靠双人标注、金标准校验、一致性评估与抽检返工保障质量 ✓ 正确答案
D 标注一次即可
#

6. 审计追溯(Audit Trail)的工程实现

A 审计追溯记录全链路决策操作,不可篡改可查询,实现可追溯与合规 ✓ 正确答案
B 审计追溯只记录输出
C 审计记录可随意修改
D 审计追溯无需合规
#

7. 高风险场景的强制人工审核(Mandatory Review)设计

A 高风险场景可由 AI 全自动
B 高风险场景无需留痕
C 强制审核可跳过
D 高风险场景强制人工审核,技术强制未审不放行,双人复核留痕 ✓ 正确答案
#

8. HITL 在标注、审核与难例回流环节的人机分工比例如何设定,才能兼顾质量与成本?

A 人工比例越高越好
B 分工比例固定
C 人工比例越低越好
D HITL 降本靠 AI 自动+人工关键,按置信度与风险分级,用质量成本曲线定比例 ✓ 正确答案
#

9. AI 决策可解释性(SHAP、LIME)在生产中的真实工程边界

A SHAP/LIME 完全适合 LLM
B LIME 无成本
C SHAP 解释 LLM 推理
D SHAP/LIME 对传统 ML 有效,对 LLM 意义有限,LLM 用引用/CoT 归因 ✓ 正确答案
#

10. API 限流(Rate Limit)与配额管理的工程经验

A API 限流用令牌桶按用户/租户限流,配额分配资源并配降级保障稳定 ✓ 正确答案
B 限流降低稳定性
C 限流无需配额
D 限流只防第三方
#

11. DPO(Direct Preference Optimization)的真实应用

A DPO 需要奖励模型
B DPO 用偏好数据直接优化,比 RLHF 简单稳定,适合对齐 ✓ 正确答案
C DPO 无需偏好数据
D DPO 与 RLHF 完全等价
#

12. LoRA/QLoRA 微调产物在部署成本与效果上的取舍,选微调还是 RAG 的决策框架如何建立?

A 微调可替代 RAG
B 微调无需数据
C RAG 可替代微调
D LoRA/QLoRA 微调塑行为成本低,RAG 给知识,按需求决策可组合 ✓ 正确答案
#

13. LoRA / QLoRA、RLHF、DPO、SFT、Constitutional AI 在微调的真实工程价值

A RLHF 最简单
B 所有方法等价
C SFT/LoRA 塑行为最常用,DPO/RLHF 对齐,Constitutional 安全,按需选型 ✓ 正确答案
D Constitutional AI 用于塑格式
#

14. 供应商 SLA 与企业合同的真实谈判经验

A SLA 保证输出质量
B SLA 谈判看可用性、赔偿、价格、数据合规与退出条款,SLA 只覆盖可用性 ✓ 正确答案
C SLA 无需数据条款
D 合同无需退出条款
#

15. 多供应商策略(Multi-Vendor)的真实工程复杂度

A 多供应商价值在容错与优化,复杂度在集成维护,用统一抽象层+路由 ✓ 正确答案
B 多供应商无复杂度
C 多供应商无价值
D 多供应商不需监控
#

16. 开源模型自托管(Self-Hosted)的真实工程边界

A 自托管永远优于闭源
B 自托管无需运维
C 自托管适合数据敏感、高利用率、需定制场景,能力与资源是边界 ✓ 正确答案
D 自托管能力无边界
#

17. 模型替换(Model Swap)的真实成本评估

A 模型替换只看质量
B 模型替换直接全量
C 模型替换无风险
D 模型替换成本含评测、集成、回归、迁移与风险,需评测+灰度+回滚 ✓ 正确答案
#

18. RLAIF 的真实工程应用与领域微调长期价值

A RLAIF 无偏差
B RLAIF 用 AI 反馈降本对齐但需防偏差,领域微调长期价值在资产沉淀 ✓ 正确答案
C RLAIF 替代人工
D 领域微调无需维护
#

19. 数据驻留(Data Residency)的供应商选择影响

A 数据驻留不影响供应商选择
B 数据可任意出境
C 数据驻留受法规约束,需选有本地存储与合规认证的供应商 ✓ 正确答案
D 数据驻留无需法务
#

20. 供应商风险(Vendor Risk)评估清单

A 供应商风险只算成本
B 供应商风险无需评估
C 供应商风险评估看可用性、质量、成本、安全、合规、锁定等,用多供应商缓解 ✓ 正确答案
D 供应商风险不可缓解
#

21. OpenAI、Anthropic、Google 三大供应商的真实差异

A 三家完全一致
B Claude 代码长上下文、OpenAI 生态通用、Gemini 多模态云,按任务选型 ✓ 正确答案
C Gemini 无多模态
D OpenAI 代码最强
#

22. RLHF 在生产环境的边界如何评估偏好数据规模、奖励模型漂移与对齐税对部署成本的影响?

A RLHF 边界在数据规模、奖励模型漂移与对齐税,需 ROI 评估成本与收益 ✓ 正确答案
B RLHF 无成本
C 奖励模型不会漂移
D 对齐无税
#

23. 成本谈判(Volume Discount)的真实边界

A 量价折扣无承诺
B 过承诺无风险
C 折扣无需绑定
D Volume Discount 用承诺量换折扣,边界在承诺与锁定,需评估真实用量 ✓ 正确答案
#

24. Label Studio / Scale AI 等标注平台的真实使用

A Label Studio 开源自建、Scale 托管外包,按规模与敏感性选型 ✓ 正确答案
B Label Studio 是托管平台
C 标注平台无需 QC
D 标注平台只标文本
#

25. 标注一致性(Inter-Annotator Agreement)的真实必要条件

A 标注一致性无需规范
B 标注一致性靠清晰规范、培训校准、双人标注与 Kappa 度量 ✓ 正确答案
C 一致性无需度量
D 标注一致性无关
#

26. 自动审核(Auto-Review)的真实替代边界

A 自动审核可替代所有人工审核
B 自动审核不可用
C 自动审核无漏判
D 自动审核适合规则明确低风险审核,高风险需人工,按风险分级 ✓ 正确答案
#

27. 供应商锁定(Vendor Lock-in)的真实缓解方案

A 供应商锁定无缓解
B 供应商锁定缓解靠抽象层、多供应商与数据可迁移,增加复杂度但降风险 ✓ 正确答案
C 单一供应商最安全
D 锁定无需处理
#

28. 供应商退场(Vendor Exit)的工程预案

A 供应商退场预案覆盖数据导出、接口迁移、备选替代与灰度切换 ✓ 正确答案
B 供应商退场无需预案
C 退场预案只导出数据
D 退场无法迁移