幻觉控制与 AI 安全

• 是否理解受约束解码的原理
• 是否掌握其价值与实现
• 是否了解边界

Constrained Decoding 用语法/格式约束（JSON Schema、Grammar）限制模型输出，保证输出合法：JSON Mode 强制输出合法 JSON，Grammar 约束（如 GBNF）约束更复杂的结构。价值：减少下游解析错误、保证结构化输出可靠、提升 Function Calling 稳定性、降低幻觉性格式错误。实现：推理阶段用约束解码（如 vLLM 的 guided decoding、Outlines）。边界：约束增加生成难度、可能降低生成质量、复杂 schema 成本高、需模型支持。工程上结构化输出优先用约束解码，减少解析与重试。

约束解码把"格式"从概率变成确定性，提升结构化输出可靠性。是 Function Calling 与结构化交互的基石，但需权衡质量。

• 是否理解 CoT 与 Self-Consistency 原理
• 是否掌握效果与成本
• 是否了解适用场景

CoT 让模型逐步推理，提升复杂推理准确性；Self-Consistency 多次采样（不同 CoT）取多数投票，进一步提升可靠性。生产效果：对数学、逻辑、代码等推理任务提升明显；对简单/事实任务收益小甚至引入过度推理。成本：Self-Consistency 需多次调用（如 5-10 次），成本与延迟大幅上升。适用：高价值推理任务、结果可投票判定、成本可接受；简单任务用单次 CoT 或直接生成。工程上按任务复杂度分级使用，设采样次数与预算。

CoT 提推理，Self-Consistency 用多次采样投票换更稳，但成本高。适合推理密集、结果可投票的任务。

• 是否理解幻觉检测原理
• 是否掌握检测方法
• 是否了解应用与边界

幻觉检测方法：1）事实校验（Fact-Checking）：将生成内容与来源/知识库比对，验证是否支持（RAG 场景用上下文校验）；2）Self-Verification：让模型自评/二次生成验证；3）置信度/不确定性：用 logits、多次采样一致性判断；4）NLI 模型：判断生成与来源是否蕴含；5）检索召回比对。工程应用：RAG 场景校验生成是否被检索内容支持、关键输出（事实/数字）加校验、高置信度要求场景人工兜底。边界：检测本身有误报漏报、成本高、复杂推理难验证。

幻觉检测靠"事实校验+自验证+不确定性+来源比对"。RAG 场景校验生成是否被上下文支持，关键输出兜底。

• 是否理解知识截止的含义
• 是否掌握业务影响
• 是否了解应对策略

知识截止是模型训练数据的时间上限，模型对截止后的事件、新政策、新规范、最新数据不知情。业务影响：回答过时、涉及新法规/产品/价格时出错、与实时业务脱节。应对：RAG 接入最新资料（知识库、实时数据）、工具调用查实时信息（API、数据库）、明确告知模型"知识截止并提示查证"、对时效性内容强制走检索。工程上把"知识时效"作为系统设计的一部分，区分"静态知识"与"实时知识"供给。

知识截止是模型固有局限，业务影响在时效性内容。用 RAG+实时工具+时效提示应对，区分静态与实时知识。

• 是否理解两者作用机制
• 是否掌握协同方式
• 是否了解各自边界

RAG 通过检索提供事实依据，从"输入侧"降低幻觉（让模型基于真实上下文生成）；Fine-tuning 通过学习格式/风格/任务，从"行为侧"降低幻觉（如学会"不知道就说不知道"、忠于给定上下文）。协同：RAG 解决"事实来源"，微调解决"行为习惯"——用 RAG 缓解知识性幻觉，用微调强化"低置信度不硬答""忠于上下文"的指令遵循。两者互补：RAG 管"说什么"，微调管"怎么答"。工程上先 RAG 再做微调，各自解决不同幻觉来源。

RAG 从输入侧给事实，微调从行为侧塑习惯，协同降低幻觉。RAG 管知识，微调管行为，互补。

• 是否理解两者的互补
• 是否掌握各自适用场景
• 是否了解组合方式

RAG 从知识库检索静态/文档知识，减少"知识性幻觉"；Tool Use 调用外部工具（API、数据库、计算器）获取实时/结构化/可计算数据，减少"数据性幻觉"与"计算性幻觉"。互补：RAG 管"文档知识"，Tool Use 管"实时数据+精确计算"。场景：查文档用 RAG，查实时数据/算数/调系统用 Tool Use。组合：复杂任务先 RAG 检索知识，再 Tool Use 查实时数据或计算，两者都有来源可验证。工程上让模型"优先用工具/RAG 而非凭空生成"。

RAG 管文档知识，Tool Use 管实时数据与精确计算，互补覆盖不同幻觉来源。让模型优先检索/调用而非凭空生成。

• 是否理解幻觉案例库的价值
• 是否掌握构建与更新
• 是否了解使用方式

幻觉案例库是记录历史幻觉案例（输入、输出、错误类型、根因）的资产，价值：用于回归评测、定位根因、训练提炼（改进 prompt/微调）、监控幻觉趋势。构建：从线上反馈（用户举报、人工复核）、评测回放、日志分析收集，标注幻觉类型（事实性/忠实性/技术性）与根因。更新：持续汇入新案例、去重、按版本分类。使用：纳入回归评测集、分析根因驱动改进、配置监控告警、作为微调/评测数据。维护靠"线上回收+评审+入库"闭环。

幻觉案例库是防幻觉的"记忆库"，靠线上回收+评审入库，用于回归评测、根因分析与改进驱动。

• 是否理解 Agent 注入攻击面
• 是否掌握攻击入口
• 是否了解防护

Agent 系统注入攻击面广：用户输入、工具返回内容、外部文档/网页、多 Agent 间消息、工具描述、环境变量。攻击方式：Prompt Injection（诱使 Agent 执行恶意指令）、数据投毒（污染检索/工具）、间接注入（恶意文档/网页指令）。风险：泄露数据、执行恶意操作、越权、工具滥用。评估：对每个信息入口做威胁建模，识别哪些输入可被外部控制、影响哪些工具/操作。防护：输入/输出过滤、工具权限最小化、敏感操作审批、隔离不可信内容（标记来源）、沙箱。

Agent 注入攻击面广，来自输入、工具、外部内容。需威胁建模识别入口，用过滤、权限、审批、隔离防护。

• 是否理解间接注入原理
• 是否掌握风险
• 是否了解防护

Indirect Prompt Injection 指恶意指令藏在外来内容（网页、文档、邮件、工具返回）中，被 Agent 读取后执行。风险：Agent 被诱导执行恶意操作（泄露数据、转账、删除）、泄露上下文中的敏感信息、越权。高发场景：Agent 读取网页/文档/邮件、RAG 检索被投毒、工具返回含指令。防护：对外来内容做"内容隔离"（标记为数据而非指令并提示模型）、来源区分（可信 vs 不可信）、指令与数据分离（结构化标记）、敏感操作审批、输入输出过滤、最小权限。生产需评估"Agent 接触哪些不可信内容"。

间接注入风险高，藏于外部内容。防护靠内容隔离、来源区分、指令数据分离与敏感操作审批。

• 是否理解 Jailbreak 攻击
• 是否掌握防御手段
• 是否了解评估

Jailbreak 是绕过模型安全限制诱导有害输出。攻击方式：角色扮演（"假设你是..."）、逐步诱导、多语言、编码混淆、上下文注入、对抗性 prompt。防护工程经验：系统提示强化安全边界、输入过滤（检测已知攻击模式）、输出过滤（检测有害内容）、红队测试持续发现、内容安全模型（分类器）、限制工具权限（防越权操作）、敏感操作二次确认。真实经验：单一防护不够，需"输入+输出+权限+监控"多层，且持续红队迭代。评估用红队测试集与攻击成功率监控。

Jailbreak 防护要多层（输入过滤+输出过滤+权限+监控），红队持续迭代，单一防护不足。

• 是否理解三类攻击
• 是否掌握其边界
• 是否了解防护

Jailbreak：诱导模型输出有害内容（绕过安全）；Data Poisoning：污染训练/评测数据使模型行为偏差（投毒检索、训练数据）；Model Extraction：通过大量查询窃取模型能力/训练数据。工程边界：Jailbreak 是输出侧攻击，靠内容过滤与权限；Data Poisoning 是数据侧攻击，靠数据来源校验、防污染评测集、检索白名单；Model Extraction 是模型资产攻击，靠限流、输出扰动、检测异常查询、保护私密 API。三者边界在攻击面不同：输出/数据/模型，防护分别对应。

三类攻击面不同：输出（Jailbreak）、数据（Poisoning）、模型（Extraction），防护分别对应内容过滤、数据校验、限流扰动。

• 是否理解 PII 检测价值
• 是否掌握脱敏实现
• 是否了解还原与边界

PII（个人身份信息）检测与脱敏用于防止敏感数据泄露给模型/外部。实现：检测（正则、NER 模型、内置检测器识别姓名/身份证/手机号/邮箱/地址）、脱敏（替换为占位符/掩码、泛化、加密）、日志脱敏（不记录原始 PII）。还原：模型处理完需还原（占位符替换回真实值）用于业务。边界：检测有漏报（变体/模糊/新格式）、脱敏影响模型理解（失去上下文）、还原需安全。工程上"检测-脱敏-处理-还原"管线，配合加密与审计，利用正则+模型双层检测。

PII 防护靠"检测-脱敏-处理-还原"管线，正则+模型双层检测，还原需安全，防漏报与上下文损失。

• 是否理解权限边界意义
• 是否掌握设计方式
• 是否了解隔离与审计

LLM 系统权限边界：定义 LLM/Agent 能访问的数据与能执行的操作，与用户/系统权限隔离。设计：最小权限（只给完成任务所需）、操作分级（只读/写分离）、工具白名单、数据访问控制（按角色/租户过滤）、沙箱执行、敏感操作审批。边界设定：LLM 权限应小于系统管理员、小于用户持有权限、可降级可撤销。隔离：检索与执行环境隔离、不可信内容与权限系统隔离。审计：记录权限授予与调用。生产上权限边界是防越权与数据泄露的核心。

权限边界设计靠最小权限+操作分级+沙箱+审计，LLM 权限小于用户、可撤销，防越权与泄露。

• 是否理解 AI 攻击面组成
• 是否掌握评估方法
• 是否了解风险排序

AI 系统攻击面包括：输入（用户、外部内容）、模型（Prompt Injection、Jailbreak）、推理链路（工具、RAG 检索）、数据（训练/检索投毒）、输出（泄露）、依赖（供应链、第三方 API）。评估方法：威胁建模（STRIDE/ATLAS 列出威胁）、资产盘点（哪些数据/工具/系统）、入口枚举（哪些可被外部控制）、攻击路径分析（从入口到影响）、风险排序（影响×可能性）。输出：攻击面清单与风险等级，指导防护优先级。真实评估要覆盖"AI 特有攻击面"（模型、提示、检索）与通用面。

AI 攻击面评估用威胁建模+资产盘点+入口枚举+攻击路径+风险排序，覆盖 AI 特有面（模型、提示、检索）与通用面。

• 是否理解红队目的
• 是否掌握组织方式
• 是否了解产出与闭环

AI 红队通过对抗性测试主动发现系统漏洞（Jailbreak、注入、越权、泄露）。组织：跨职能团队（安全、模型、产品、领域专家）、明确范围（系统/模型/流程）、角色分工（攻击者/评审/记录）。流程：制定测试目标与场景、设计攻击用例、执行测试、记录发现、评估风险。产出：攻击报告、漏洞清单、风险分级、修复建议。闭环：修复后回归验证、持续更新攻击库、红队常态化。经验：红队是"攻防循环"，不是一次性，需与防御、监控、评测联动。

AI 红队靠跨职能对抗测试发现漏洞，产出风险清单并驱动修复，需常态化攻防闭环。

• 是否理解红队对抗面
• 是否掌握覆盖方法
• 是否了解转化为护栏

红队对抗面覆盖：注入（Prompt Injection、间接注入）、越狱（Jailbreak）、数据泄露（PII 泄露、上下文泄露）、越权（工具滥用）、拒答不足（过度/不足）。覆盖方法：按攻击面设计用例矩阵、真实场景+变体、多模型/多语言、自动化工具+人工。结果转化：将发现按严重度（影响×可能性）排序，确定修复优先级（高危先修）；把修复落地为护栏（输入过滤、输出过滤、权限限制、提示强化、审批流）；修复后回归验证护栏有效性。红队产出"漏洞清单+护栏措施+验证"，形成闭环。

红队覆盖注入/越狱/泄露等对抗面，按严重度定优先级，落地为护栏并经回归验证。形成攻防闭环。

• 是否理解沙箱与最小权限
• 是否掌握应用方式
• 是否了解配合

Sandboxing 隔离 LLM 执行环境（容器、网络、文件、资源限制），防恶意/误操作影响主系统；最小权限原则只给 LLM 完成任务所需的最小权限（工具、数据、操作）。应用：Agent 执行代码/工具在沙箱内、网络白名单、文件只读、命令限制；LLM 只访问授权数据、只调用白名单工具、写操作需审批。配合：沙箱管"环境隔离"，最小权限管"能力边界"，两者结合防越权与泄露。生产上"沙箱+最小权限+审计"是 LLM 安全基座。

沙箱隔离环境，最小权限限制能力，二者配合防越权与泄露。是 LLM 系统安全基座。

• 是否理解输出过滤作用
• 是否掌握效果与边界
• 是否了解实现

输出过滤在模型输出上做检测与拦截，防止有害/敏感/违规内容输出。实现：内容安全分类器、敏感词/PII 检测、语义检测、长度/格式校验。效果：能拦截明显有害内容、PII 泄露、违规格式，降低风险。边界：存在误报（误伤正常内容）与漏报（变体/复杂语义绕过）、对复杂/模糊内容判断难、增加延迟。生产上输出过滤作为"最后一道闸"，配合输入过滤与权限，不能单靠它。需在"安全性"与"误伤率"间权衡，用阈值与分类器调优。

输出过滤是最后一道闸，能拦截明显有害/PII，但有误报漏报与延迟。配合输入过滤与权限，权衡安全与误伤。

• 是否理解安全审计目的
• 是否掌握审计范围与方法
• 是否了解闭环

AI 安全审计评估系统安全状态，涵盖：数据（PII、训练数据）、模型（Jailbreak、倾向）、系统（权限、沙箱、日志）、流程（审批、监控、红队）。方法：审查配置与代码、红队测试、日志分析、权限与数据流审查、合规检查（GDPR/备案）。产出：安全隐患清单、风险分级、修复建议。闭环：按优先级修复、复测验证、纳入持续审计。经验：审计要"可追溯"（决策与数据留痕）、定期化、与监管/合规联动。真实工程审计"技术+流程+合规"三方面。

AI 安全审计覆盖数据、模型、系统、流程，审查+红队+日志分析发现隐患，按优先级修复并持续复测。

• 是否理解幻觉类型
• 是否掌握频率分布
• 是否了解成因

幻觉分类：事实性幻觉（编造不存在的知识/事件）、忠实性幻觉（偏离输入/上下文）、逻辑性幻觉（推理错误）、技术性幻觉（格式/引用错误）。真实频率：取决于任务类型与模型——开放生成/常识任务幻觉率较高，检索增强/受约束任务较低；不同模型差异大，通常有几到十几个百分点。成因：知识缺口、训练数据偏差、解码随机性、上下文过长、缺乏来源。工程上按任务测量幻觉率，用 RAG/校验/约束降低，并区分幻觉类型定位根因。

幻觉分事实性、忠实性、逻辑性、技术性，频率随任务与模型变化。需按类型定位根因并针对性缓解。

• 是否理解 RAG 降幻觉机制
• 是否掌握降低幅度
• 是否了解边界

RAG 通过检索提供事实依据，让模型基于真实上下文生成，显著降低知识性幻觉。真实降低幅度：对知识性/事实性任务，RAG 可比纯生成显著降低幻觉率（常见从 10-30% 降至个位数百分点），但幅度因数据质量、检索质量、任务而异。机制：提供来源、减少模型"凭记忆编造"。边界：RAG 不能消除所有幻觉——检索质量差、上下文冲突、忠实性幻觉（偏离上下文）、复杂推理幻觉仍存在；RAG 本身有检索噪声引入新错误。工程上 RAG+校验+引用追踪组合。

RAG 显著降知识性幻觉但非消除，受检索质量影响。忠实性幻觉与检索噪声仍存在，需组合校验。

• 是否理解两类幻觉区别
• 是否掌握各自应对
• 是否了解评估

事实性幻觉（Factuality）：生成内容与"客观事实"不符，编造不存在的知识/事件（与上下文无关，模型本身答错）；忠实性幻觉（Faithfulness）：生成内容与"给定上下文/输入"不符，偏离检索内容或用户输入（模型没忠于上下文）。差异：事实性管"是否正确"，忠实性管"是否忠于输入"。应对：事实性靠 RAG 提供事实+RAG 校验（知识层面）；忠实性靠提示强化"忠于上下文"+引用校验+检索做得对。评估：事实性用知识库校验，忠实性用上下文校验（NLI/包含）。

事实性幻觉是"答错事实"，忠实性幻觉是"偏离输入"。前者靠 RAG 事实供给，后者靠忠上下文与校验。

• 是否理解幻觉率测量
• 是否掌握测量方法
• 是否了解评估局限

幻觉率测量是评估"生成内容中幻觉的比例"。方法：1）事实性测量：生成内容与知识库/权威来源比对（FactScore、NLI 判蕴含）；2）忠实性测量：与给定上下文比对（上下文校验、NLI）；3）人工标注：专家判定幻觉具有权威性；4）LLM-as-Judge：自动判定（有偏差需校准）。测量流程：构造评测集、每输出判定是否幻觉、计算幻觉率（幻觉样本/总样本）。局限：哪些算"幻觉"标准主观、需来源、复杂推理难判、不同评测集差异大。生产上人工+自动混合。

幻觉率测量靠与来源/知识库比对、人工标注、LLM 判定，标准主观是局限，需混合校准。

• 是否理解注入防御手段
• 是否掌握其边界
• 是否了解纵深防御

Prompt Injection 防御手段：输入过滤（检测已知攻击）、提示强化（系统提示声明安全边界）、输出过滤、指令与数据分离（对外来内容标记）、权限最小化（即使被注入也执行有限）、敏感操作审批、沙箱。边界：对"语义级"注入（看起来像正常指令）难以过滤；过滤有误报漏报；提示强化可被复杂 prompt 绕过；系统提示本身可被注入。真实工程需"纵深防御"（多层叠加），而非单点。核心认知：无法完美防注入，目标是"即使被注入，影响也受限"。

Prompt Injection 无法完美防御，语义级注入难过滤。靠纵深防御+权限最小化，让"被注入也影响受限"。

• 是否理解工具调用注入风险
• 是否掌握风险场景
• 是否了解防护

工具调用注入风险：模型在调用工具时可能被注入的指令诱导执行恶意操作（工具返回内容含指令、外部数据投毒、工具描述被篡改）。风险场景：Agent 读取网页/文档后调用工具、工具返回含恶意指令（间接注入）、工具参数被恶意构造。风险：执行越权操作、泄露数据、链式调用放大。防护：工具返回内容当数据而非指令（隔离）、工具参数校验、工具白名单与最小权限、敏感工具加审批、审计工具调用、对工具返回做内容过滤。工程上"工具调用是高风险面"，需严格校验与审计。

工具调用注入风险来自外部内容与工具返回，需隔离、校验、最小权限、审批与审计。

• 是否理解数据外泄途径
• 是否掌握案例
• 是否了解防护

数据外泄通过 Prompt 传输的途径：上下文中的敏感数据被模型输出（隐式泄露）、代理被注入诱导把数据编码进输出（exfiltration）、链式调用把数据传给外部工具、日志记录。案例：Agent 读取含密钥/客户数据的文档后，被间接注入诱导把数据写入输出/发送到外部 URL；RAG 检索到敏感数据被泄露到回答。防护：上下文最小化（不注入多余敏感数据）、PII 检测与脱敏、输出过滤（拦截敏感数据）、工具白名单（禁外部发送）、权限最小化、日志脱敏、审计。工程上"数据最小化"是防外泄关键。

数据外泄经 Prompt 靠上下文注入+输出+外部工具。防护靠数据最小化、脱敏、输出过滤、工具白名单与审计。

• 是否理解两者机制
• 是否掌握差异与边界
• 是否了解适用场景

Self-Verification（自验证）：让模型自己核查/二次生成（如"重答""打分""检查是否一致"），不依赖外部来源，成本低但受模型自身局限"可能验不出自己的错"；外部校验（Fact-Checking）：把生成内容与外部权威来源（知识库、工具、检索）比对，独立可靠，但依赖外部来源质量与覆盖。差异：可靠性（外部更可靠）、成本（外部更高）、独立性（外部独立）。适用：简单自查用 Self-Verification，关键事实/高价值内容用外部校验。工程上关键内容外部校验+自验证辅助。

自验证便宜但可能验不出自身错，外部校验独立可靠但成本高。关键内容用外部校验，辅助自验证。

• 是否理解注入审计目的
• 是否掌握审计方法
• 是否了解治理

Prompt 模板注入审计是审查模板中是否含被注入的恶意指令、敏感信息或越权内容。方法：模板静态审查（扫描指令、外部缓存内容）、检查模板是否含不可信内容拼接、检测模板中是否被注入攻击模式、审查模板权限（谁可改）、版本对比（变更审计）。治理：模板权限管控（只有授权人可改）、注入内容隔离（模板不拼接不可信输入）、模板版本管理与评审、敏感信息不入模板。审计工具支持扫描与告警。工程上"模板是受控资产"，需权限、评审与注入审计。

Prompt 模板注入审计靠静态审查、不可信内容检测、权限管控与版本评审。模板是受控资产。

• 是否理解 Prompt 防火墙原理
• 是否掌握防护能力
• 是否了解边界

Prompt 防火墙（如 Cloudflare AI Gateway）在 LLM 调用前拦截，检测并拦下有害/注入/敏感内容，提供统一网关、限流、缓存、监控。真实防护：检测已知注入模式、敏感数据拦截、内容安全过滤、DDoS/滥用防护、统一安全策略。边界：对语义级/新型注入检测有限（依赖规则/模型，有漏报）、可能误伤正常请求、需正确配置与规则更新、不解决"模型内部"问题。工程上作为"第一道防线"之一，配合输入输出过滤、权限与监控，不能单靠防火墙。

Prompt 防火墙是统一网关+输入过滤，能拦已知注入与滥用，但对语义级注入有限，需配合其他防护。

• 是否理解两者定位
• 是否掌握协同方式
• 是否了解闭环

Security Audit（安全审计）覆盖系统整体安全（数据、权限、网络、配置、日志），Prompt 审计聚焦模板与提示词的安全性（注入、敏感、越权）。协同：Security Audit 提供系统级视角（权限、沙箱、监控）发现 Prompt 触发的问题；Prompt 审计在内容层发现注入/敏感问题，两者交叉验证。流程：安全审计发现"哪里可能被注入/越权"，Prompt 审计检查"模板里是否有注入/敏感"，共同产出风险清单；修复后复测。协同让"系统层+内容层"安全闭环。

Security Audit 管系统层，Prompt 审计管内容层，协同交叉验证并驱动修复，形成安全闭环。

• 是否理解 STRIDE 与 ATLAS
• 是否掌握威胁建模方法
• 是否了解应用

STRIDE（Spoofing 仿冒、Tampering 篡改、Repudiation 否认、Information Disclosure 泄露、Denial of Service 拒绝服务、Elevation of Privilege 提权）是通用威胁建模框架；ATLAS（Adversarial Threat Landscape for AI）是专为 AI/ML 的对抗威胁图（如 Prompt Injection、Jailbreak、数据投毒、模型窃取）。真实实践：用 STRIDE 覆盖系统通用威胁，用 ATLAS 覆盖 AI 特有威胁（模型、提示、训练、推理），两者结合形成完整威胁面。流程：画数据流、对每个组件/数据流应用威胁类别、识别威胁、评估风险、输出清单与缓解。工程上 STRIDE+ATLAS 是 AI 安全评估的规范方法。

STRIDE 覆盖通用威胁，ATLAS 覆盖 AI 特有威胁，两者结合形成完整威胁建模，输出风险与缓解。

• 是否理解红队工具作用
• 是否掌握使用能力
• 是否了解边界

PyRIT（Python Risk Identification Toolkit）是微软开源 AI 红队工具，自动化生成攻击测试：Prompt Injection、Jailbreak、越权、内容不安全等测试，支持多模型、批量攻击、结果评估。真实使用：自动化探测系统漏洞、生成攻击语料、评估防护效果、纳入 CI 安全测试。边界：自动化覆盖常见攻击，但创意/语义级攻击需人工红队补充；工具生成的效果需人工判定；误报需过滤。工程上用 PyRIT 做"自动化基线红队"，人工红队做深度补充，两者结合。

PyRIT 自动化生成注入/越狱等攻击测试，适合基线红队，但创意攻击需人工补充。

• 是否理解插件安全风险
• 是否掌握风险场景
• 是否了解防护

第三方插件安全风险：插件代码不可信（恶意/后门）、插件权限过大（越权访问数据）、插件滥用（调用外部发送数据）、插件对输入输出处理不当（注入）、供应链风险（插件组件被攻击）。风险场景：Agent/系统加载插件后，插件篡改结果、泄露数据、执行恶意操作。防护：插件来源审查（可信来源）、插件最小权限（白名单）、沙箱运行插件、审查插件代码与依赖、插件版本与更新管理、审计插件调用、禁用高风险插件。工程上"插件即代码"，需按代码安全标准审查。

第三方插件风险来自代码不可信、权限过大与供应链。需来源审查、最小权限、沙箱与审计。