幻觉控制与 AI 安全

共 33 题
#

1. Constrained Decoding(JSON Mode、Grammar)的真实工程价值

A 约束解码会降低输出合法性
B 约束解码用 JSON/Grammar 约束保证结构化输出,减少解析错误 ✓ 正确答案
C 约束解码无边界
D 约束解码只在离线用
#

2. Self-Consistency 与 CoT 在生产环境的真实效果

A Self-Consistency 多次采样投票提升推理可靠性,但成本高,适合高价值任务 ✓ 正确答案
B 所有任务都适用 Self-Consistency
C CoT 无成本
D Self-Consistency 只采样一次
#

3. 幻觉检测(Hallucination Detection)的工程方法

A 幻觉无法检测
B 幻觉检测零成本
C 幻觉检测无边界
D 幻觉检测用事实校验、自验证、置信度与来源比对,RAG 场景校验上下文支持 ✓ 正确答案
#

4. 知识截止(Knowledge Cutoff)带来的真实业务影响

A 模型知识永远最新
B 知识截止无影响
C 知识截止导致过时答案,需用 RAG 与实时工具补充最新信息 ✓ 正确答案
D 模型无法解决时效问题
#

5. RAG 与 Fine-tuning 在减少幻觉上的协同

A RAG 与微调互斥
B RAG 从输入侧给事实、微调从行为侧塑习惯,协同降低幻觉 ✓ 正确答案
C 微调能注入新知识
D 只需微调即可防幻觉
#

6. RAG 与 Tool Use 在减少幻觉上的真实互补

A RAG 与 Tool Use 互斥
B RAG 管文档知识、Tool Use 管实时数据与计算,互补减少不同类型幻觉 ✓ 正确答案
C Tool Use 能查文档
D RAG 能算数
#

7. 幻觉案例库在企业 LLM 系统的真实维护

A 幻觉案例库一次性建好即可
B 幻觉案例库无价值
C 幻觉案例库靠线上回收+评审入库,用于回归评测与根因分析 ✓ 正确答案
D 幻觉案例库不需更新
#

8. Agent 系统的注入攻击面评估

A Agent 注入攻击面广(输入、工具、外部内容),需威胁建模与多层防护 ✓ 正确答案
B Agent 只有用户输入一个攻击面
C 外部文档不可作攻击面
D 工具内容是可信的
#

9. Indirect Prompt Injection 的真实风险评估

A 间接注入只来自用户输入
B 外部内容绝对可信
C 间接注入藏于外部内容,需内容隔离、来源区分与敏感操作审批 ✓ 正确答案
D 无需评估外部内容
#

10. Jailbreak 防护的真实工程经验

A 单条安全提示即可防 Jailbreak
B 只需输出过滤
C Jailbreak 无法防御
D Jailbreak 防护需多层(输入/输出过滤+权限+监控)并持续红队迭代 ✓ 正确答案
#

11. Jailbreak、Data Poisoning、Model Extraction 的真实工程边界

A 三类攻击攻击面相同
B Jailbreak 攻输出、Poisoning 攻数据、Extraction 攻模型,防护分别对应 ✓ 正确答案
C Data Poisoning 只影响提示
D Model Extraction 无法防护
#

12. PII 检测与脱敏的真实工程实现

A PII 检测无漏报
B 无需审计 PII
C 脱敏不影响任何上下文
D PII 防护靠检测-脱敏-处理-还原管线,正则+模型双层检测 ✓ 正确答案
#

13. 权限边界(Privilege Boundary)在 LLM 系统中的真实设计

A LLM 应有系统最高权限
B LLM 权限边界靠最小权限、操作分级、沙箱与审计,需小于用户 ✓ 正确答案
C 权限边界无需审计
D LLM 权限不可撤销
#

14. AI 系统的攻击面(Attack Surface)的真实评估

A AI 攻击面只有输入
B 攻击面无需评估
C 检索不可能被攻击
D AI 攻击面含模型、提示、检索、数据、输出等,需威胁建模与风险排序 ✓ 正确答案
#

15. AI 红队(Red Team)的真实组织经验

A AI 红队靠跨职能对抗测试发现漏洞,产出风险清单并驱动修复闭环 ✓ 正确答案
B 红队一次性即可
C 红队只打模型
D 红队无需记录
#

16. LLM 红队演练的对抗面(注入/越狱/数据泄露)如何覆盖,结果如何转化为修复优先级与护栏?

A 红队结果只写报告
B 红队覆盖注入/越狱/泄露,按严重度定优先级并落地为护栏验证 ✓ 正确答案
C 红队无需优先级
D 护栏无需验证
#

17. Sandboxing 与最小权限原则在 LLM 中的应用

A 沙箱与最小权限互斥
B 沙箱隔离环境、最小权限限制能力,二者配合防越权与泄露 ✓ 正确答案
C 最小权限给 LLM 全部权限
D 沙箱无需审计
#

18. 输出过滤(Output Filtering)的真实效果与边界

A 输出过滤能拦截所有有害内容
B 输出过滤可替代权限
C 输出过滤无延迟
D 输出过滤是最后一道闸,能拦截明显有害内容但有误报漏报 ✓ 正确答案
#

19. AI 安全审计(Audit)的真实工程经验

A 安全审计只看代码
B AI 安全审计覆盖数据、模型、系统、流程,审查后按优先级修复闭环 ✓ 正确答案
C 审计无需复测
D 审计一次性即可
#

20. LLM 幻觉(Hallucination)的真实频率与分类

A 幻觉只有一种类型
B 幻觉无成因
C 幻觉频率恒定
D 幻觉分事实性、忠实性、逻辑性、技术性,频率随任务与模型变化 ✓ 正确答案
#

21. RAG 对幻觉率的真实降低幅度

A RAG 显著降低知识性幻觉,但受检索质量影响,不能完全消除 ✓ 正确答案
B RAG 能完全消除幻觉
C RAG 对幻觉无影响
D RAG 引入的检索噪声无害
#

22. 事实性幻觉(Factuality)vs 忠实性幻觉(Faithfulness)的真实差异

A 事实性幻觉是答案与事实不符,忠实性幻觉是与输入不符,应对不同 ✓ 正确答案
B 两类幻觉无区别
C 忠实性幻觉与客观事实无关
D 两类幻觉应对相同
#

23. 幻觉率(Hallucination Rate)的真实测量方法

A 幻觉率无法测量
B 幻觉率靠与来源比对、人工标注与 LLM 判定,标准主观需校准 ✓ 正确答案
C 幻觉率测量无局限
D 只需人工即可测量
#

24. Prompt Injection 的工程化防御边界

A 提示强化可完美防注入
B 注入无危害
C 输入过滤能拦截所有注入
D Prompt Injection 难完美防御,靠纵深防御与权限最小化控制影响 ✓ 正确答案
#

25. 工具调用(Tool Use)中的注入风险

A 工具返回内容一定可信
B 工具参数不需校验
C 工具调用无风险
D 工具调用注入风险来自外部内容与返回,需隔离、校验、最小权限与审计 ✓ 正确答案
#

26. 数据外泄(Data Exfiltration)通过 Prompt 的真实案例

A 数据不会通过 Prompt 泄露
B 额外数据无风险
C 日志无需脱敏
D 数据外泄靠上下文最小化、脱敏、输出过滤与工具白名单防护 ✓ 正确答案
#

27. Self-Verification 与外部校验(Fact-Checking)的真实差异

A 自验证可靠
B 外部校验依赖模型
C 自验证便宜但可能验不出自身错,外部校验独立可靠但成本高 ✓ 正确答案
D 两者等价
#

28. Prompt 模板的注入审计(Audit)

A Prompt 模板无需审计
B 模板可由任何人修改
C 模板可随意拼接不可信内容
D Prompt 模板注入审计靠静态审查、权限管控与版本评审,模板是受控资产 ✓ 正确答案
#

29. Prompt 防火墙(如 Cloudflare AI Gateway)的真实防护

A Prompt 防火墙能拦所有注入
B 防火墙可替代权限
C Prompt 防火墙无需配置
D Prompt 防火墙是统一网关+输入过滤,能拦已知注入,但对语义级有限 ✓ 正确答案
#

30. Security Audit 与 Prompt 审计的协同

A Security Audit 与 Prompt 审计互斥
B Security Audit 管系统层、Prompt 审计管内容层,协同交叉验证闭环 ✓ 正确答案
C Prompt 审计可替代安全审计
D 两者无需协同
#

31. AI 系统的真实威胁建模(STRIDE + ATLAS)

A STRIDE 覆盖所有 AI 威胁
B STRIDE 覆盖通用威胁,ATLAS 覆盖 AI 特有威胁,结合形成完整威胁建模 ✓ 正确答案
C ATLAS 只覆盖通用威胁
D 威胁建模无需数据流
#

32. Microsoft PyRIT 等 AI 红队工具的真实使用

A PyRIT 可替代人工红队
B PyRIT 只测代码
C PyRIT 自动化生成注入/越狱等攻击测试,适合基线红队,创意攻击需人工 ✓ 正确答案
D PyRIT 无法评估结果
#

33. 第三方插件(Plugin)的真实安全风险

A 第三方插件完全可信
B 插件无需权限控制
C 第三方插件有代码不可信、权限过大与供应链风险,需审查与沙箱 ✓ 正确答案
D 插件代码无害