AI 安全与对齐工程

• OWASP Top 10 风险清单
• 各类风险的危害与概率
• 防御优先级

OWASP Top 10 for LLM Applications（v2.0）涵盖：Prompt Injection（LLM01）、Insecure Output Handling（LLM02）、Training Data Poisoning（LLM03）、Model DoS（LLM04）、Supply Chain（LLM05）、Sensitive Information Disclosure（LLM06）、Insecure Plugin Design（LLM07）、Excessive Agency（LLM08）、Overreliance（LLM09）、Model Theft（LLM10）。防御优先级应由"风险发生概率 × 危害程度 × 可防御性"决定：Prompt Injection 和 Insecure Output Handling 是最高频、最直接可控、且贯穿所有 LLM 应用的，应最优先；Sensitive Information Disclosure 与 Excessive Agency 危害大，紧随其后；Training Data Poisoning 与 Model Theft 与模型训练/供应链相关，多数应用不可控，优先级相对靠后但需在选型与供应链审计中考虑。优先级还应结合"应用承担的风险"（是否有敏感数据、是否高权限、是否对外）来排定。

优先级不是按清单顺序，而是按风险的实际暴露面与危害排序。应用层先解决最高频、最可控的注入与输出处理，再治理数据泄露与过度授权，供应链与训练类风险通过选型与审计规避。合理排序能把有限的安全资源投在刀刃上。

• 间接注入的载体
• 检测机制
• 分层防御

间接注入是指攻击载荷藏在外部内容（RAG 文档、工具返回值、网页）中，模型读取后被迫执行恶意指令。工程防御：其一，内容信任分级——把"系统指令"与"外部内容"用明确标记分隔，指令中声明"外部内容仅作数据，不可执行指令"，从源头降低被诱导概率；其二，输入检测——对外部内容做注入特征检测（可疑指令模式、越权请求、敏感操作触发词），用分类器/规则/二次模型识别并标记；其三，行为约束——对工具调用加白名单与权限校验，敏感操作加人工确认，即使注入成功也无法执行高危动作；其四，输出隔离——把工具返回内容放入不可执行的"数据区"，不把它当作可遵循指令。核心是"不信任外部内容"+"即使被注入也翻不了天"（权限紧缩）。

间接注入无法被完全"过滤干净"，因为模型难以区分数据与指令。有效的防御是"信任分级 + 行为约束"双保险：内容隔离降低诱导，权限与审批限制破坏面。检测是辅助，权限紧缩才是兜底。

• 安全评测的维度
• 标准化评测集设计
• 纳入选型与灰度

安全评估维度包括：拒答率（对有害/越界请求的拒绝比例）、越狱鲁棒性（面对越狱攻击的抵抗能力）、偏见（对敏感属性的不公平对待）、有害内容率（生成毒性/暴力/违法的比例）。用标准化评测集对比：构造覆盖各维度、数量充足、含正反例的评测集（可用公开基准 + 自建业务场景），对每个候选模型跑同一评测集，得到各维度的可量化指标与分数。把这些指标纳入选型：为重要安全维度设硬性门槛（如有害内容率低于 X、越狱鲁棒性高于 Y），不达标的不准上线；在灰度放量时，用安全监控指标对比新旧模型，安全行为不达标则回滚或停止放量。关键是把安全评测与质量评测放在同等地位，作为发布门禁的一部分。

安全能力是模型选型的"一票否决"维度。标准化评测让"安全"从模糊感受变成可量化分数，纳入选型与灰度的门禁，才能防止"能力更强但更不安全"的模型上线。评测集需覆盖业务真实场景并持续更新。

• 安全回归评测集
• 新旧对比方法
• 上线决策

模型更新是安全行为变化的高发点，必须做安全回归。做法：维护一套固定的安全回归评测集（含拒答、注入、越狱、偏见、有害内容等用例），新版本上线前加载同一评测集跑一遍，与旧版本的同一评测集结果逐项对比，得到各维度的变化量（如拒答率变化、注入鲁棒性 +/-, 有害内容率变化）。对比时既要看总体指标，也要看"回归用例"（哪些旧版本能安全处理的用例新版本失效了）。上线决策：若关键安全维度明显退化（如有害内容率上升、注入鲁棒性下降），则阻断上线或回滚；若退化可接受或有针对性缓解，则灰度放量并在线上持续监控。核心是"同一评测集、可复现、有基线可比"。

安全回归的本质是"版本间的安全行为可对比"。固定评测集 + 基线对比，才能发现"能力提升但安全变差"的隐性退化。把安全回归纳入发布门禁，能防止模型升级在不知不觉中引入安全风险。

• 供应链组件面
• CVE 审计
• 许可证合规

AI 应用供应链组件包括：模型权重（HF 下载或自托管）、Embedding 模型、向量数据库、推理引擎、SDK 与依赖库。审计要点：CVE 审计——对自托管模型、推理框架（vLLM 等）、向量库、SDK 做漏洞扫描（使用 SBOM 记录组件清单，用 CVE 数据库比对），跟踪高危漏洞并制定升级/缓解计划；模型权重审计——核对模型来源、哈希、发布者可信度，防止投毒或恶意模型；许可证审计——检查模型权重与依赖库的许可证（如开源权重许可、商用条款），确认是否符合商业使用与再分发条件，避免许可证冲突。工程上把 SBOM、许可证清单、CVE 扫描结果纳入发布流程与合规审查，形成"资产清单 + 漏洞跟踪 + 许可合规"的供应链安全基线。

供应链安全是 AI 应用容易被忽视的环节。模型、推理引擎、向量库都是攻击面，SBOM + CVE 扫描 + 许可证审计三件套，能把"用了什么、有无漏洞、能否商用"管理清楚，防止"模型好但供应链有洞"。

• 对齐税的概念
• 度量方法
• 向业务解释

"对齐税"指为了安全/合规而加约束（拒答、过滤、脱敏、限制工具），导致模型在不该受限场景下能力或响应下降。度量方法：对比"无约束 vs 有约束"在同一评测集上的表现差（正确率、可完成度、拒答带来的中断率），量化受限导致的损失；区分"该拒的"（合法拦截）与"误伤"（该答的没答好），误伤率才是真正的"税"。向业务解释：用"安全事件概率下降 vs 误伤率上升"的量化数据说明——安全约束是"用可控的误伤成本换取更低的合规与声誉风险"，并给出可调参数（放宽阈值、白名单、人工兜底）让业务在安全与体验间选择；同时把安全收益货币化（避免的罚款、诉讼、声誉损失），让权衡有据可依。

对齐税的关键是"别把误伤当合理拦截"。用"该拒/误伤"的区分度量真实成本，用"安全收益 vs 误伤成本"向业务对话，才能让安全约束从"一刀切"变成"可调优的权衡"，争取业务理解与支持。

• 三层防御
• 各层失效模式
• 组合策略

分层防御：输入过滤——在输入端识别/清洗可疑指令（检测注入特征、敏感词、越权请求），失效模式：攻击者可编码绕过（大小写、同义词、Unicode、嵌套），且 NLU 无法穷举；指令隔离——用标签/区块分隔系统指令与用户/外部内容，声明内容不可执行，失效模式：仅靠提示词约束可被"越狱"打破，模型仍可能服从内容中的指令；输出约束——对输出做校验（结构校验、敏感过滤、工具调用白名单），失效模式：依赖模型输出稳定，可能被内容诱导输出恶意内容后才被拦截。组合策略：三层叠加形成纵深防御，并在工具/权限层加"行为兜底"（最小权限、审批），用"检测 + 隔离 + 约束 + 权限紧缩"四层，任一层被绕过仍有下一层兜底。核心是"不依赖单一防线，且权限紧缩是最后防线"。

提示注入无绝对解，关键是纵深防御。每一层都有失效模式，所以要靠"多层叠加 + 权限收紧"让攻击者难以"一处得手、全面突破"。理解各层失效模式，才能合理分配资源、避免迷信单一防御。

• 覆盖矩阵
• 攻击集与 ASR 评分
• 回归门禁

红队测试要覆盖多维攻击面：提示注入、越狱、隐私（数据泄露/套取）、偏见（有害/歧视）、有害内容、滥用等。实现：构建攻击集——每个维度收集足够多、可复现的攻击样本（含变体），作为固定测试集；评分——用 ASR（Attack Success Rate，攻击成功率）等指标量化，即攻击样本中成功攻破的比例，并可叠加危害分级（高危/中危）；回归门禁——把红队测试接入 CI/CD，模型/提示词/系统更新时自动重跑攻击集，比较 ASR 变化，若高危攻击 ASR 上升超过阈值则阻断发布。工程上把"攻击集 + 评分脚本 + 门禁"做成可复用流水线，攻击集随威胁情报持续扩充，让安全回归成为常态而非一次性活动。

红队测试要从"人工抽查"升级为"自动化门禁"。覆盖矩阵保证面全，攻击集保证可复现，ASR 保证可量化，门禁保证可强制。这样安全能力才能可度量、可回归、可问责。

• 敏感属性
• 评测集样本分布
• 业务影响量化

偏见评估要针对敏感属性（性别、种族、年龄、地域、宗教等）设计。评测集设计：对每个敏感属性构造"成对/对照"样本——同一请求仅改变敏感属性，其余不变，检验输出是否因属性变化而不同；样本分布要覆盖主要敏感属性和不同语境，避免只测表面词汇；同时纳入"真实场景"样本（如客服、招聘、风控中的偏见）。业务影响量化：用"处置差异率"（如不同性别组的拒答率、通过率差异）、"伤害样本比例"、以及"属性置换后输出差异度"等指标，量化偏见对业务结果的影响；并评估偏见导致的实际业务损失（如误拒率高的群体）。工程上把偏见评测纳入发布门禁，持续监控关键业务场景的偏见指标。

偏见评估的核心是"控制变量 + 对照比较"。通过属性置换保持其他变量不变，才能把"偏见"与"正常差异"分开。量化业务影响（处置差异率）能让偏见从"道德问题"变成"可度量、可治理的工程问题"。

• 水印与内容凭证
• 检测技术
• 合规落地

落地要点：AI 输出水印——将不可见的水印或元数据嵌入生成内容，用于标识"AI 生成"；C2PA（Content Credentials）——在内容文件中嵌入加密的 provenance 元数据（来源、设备、编辑历史），可持续追踪内容真实性；SynthID——Google 的音频/图像/文本水印方案，在生成阶段嵌入可在检测阶段识别的标记。企业合规落地：对对外发布的 AI 生成内容（新闻、广告、政务、金融）加 AIGC 标识与 C2PA 凭证，满足"生成内容标识"与可追溯要求；在检测侧建内容真实性校验，识别是否有 AI 水印/凭证，辅助内容审核与舆情治理；对图像/音频等媒体用 SynthID 类水印对抗深度伪造。落地时注意：水印在不同处理（压缩、裁剪）下的鲁棒性、与现有内容管线的集成、以及合规要求的具体口径（显式/隐式标识）。

水印与内容凭证是"AI 内容可追溯"的合规工具。C2PA 管"来源凭证"，SynthID 管"生成水印"，两者结合覆盖"标注 + 检测 + 追溯"。落地关键是让水印抗篡改、与管线集成、并匹配合规的显式/隐式标识要求。

• 两层安全的边界
• 必须靠系统设计解决的风险
• 分工原则

模型层对齐解决"模型本身是否安全"，应用层安全解决"系统如何约束模型"。有些风险必须靠系统设计而非模型对齐：其一，权限与身份——模型的输出是否被授权执行、操作是否越权，属于系统访问控制，模型无法自我约束；其二，数据泄露与隐私——检索/存储/日志中的敏感数据是否被暴露，靠系统脱敏与权限，而非模型；其三，工具调用与副作用——模型调用工具是否安全、是否幂等、是否被审批，靠系统校验与权限；其四，不可逆操作——金融、法律、医疗决策，靠 HITL 审批而非模型承诺；其五，内容的合规发布——对外发布前的审核与留痕，靠工作流。原则是：模型对齐管"说什么"，系统设计管"能做什么、给谁看、由谁审"。越剧、越权、越界需系统兜底，不能指望模型自守。

模型对齐有边界，它无法控制"模型之外的世界"。权限、审计、审批、脱敏、发布控制这些系统级能力，是模型能力的"外部约束"。理解边界才能正确分工：把不可靠的"模型自觉"交给可靠的"系统规则"。

• 内容分类与分级
• 分类模型
• 规则引擎组合

内容安全分类要"分级定义"：把 NSFW、暴力、政治敏感、违法、合规风险等类别按严重程度分级（如"安全/低危/中危/高危"），并明确每级的处置动作（放行/提示修改/拦截/上报人工）。分级须贴合业务与监管口径，避免一刀切。实现上"分类模型 + 规则引擎"组合：分类模型（多标签分类器）做语义层面的粗判，给出类别与置信度；规则引擎处理确定性强、可枚举的规则（敏感词、组织名、固定格式、地域限制），做快速拦截与高精度兜底；二者按"规则优先、模型兜底"或"模型初判、规则复核"组合，兼顾召回与精度。对模型误判、规则命中的模糊场景，引入人工复核。工程上把分类阈值、分级定义、处置动作做成可配置，并纳入监控与审计。

内容安全是"召回 vs 精度"的权衡。分级定义让处置有据可依，分类模型覆盖语义、规则引擎覆盖确定性，两者组合减少误杀与漏放。关键是把分级与处置解耦、可配置，并留人工复核兜底。

• 对抗样本生成
• 越狱变体枚举
• 流水线化与门禁

红队测试自动化流水线：对抗样本生成——用模板/种子 + 变异（改写、编码、噪音、上下文注入）自动生成大量攻击样本；越狱变体枚举——对已知越狱手法做变体枚举（替换措辞、分步诱导、角色扮演、多语言），扩大覆盖；结果分级——对每个攻击样本的响应自动判定成败与危害（用判定模型/规则 + 人工抽检，分为高危/中危/低危），并累计 ASR。流水线化：定时或 CI 触发跑完整流程，产出结构化报告（各维度 ASR、危害分布、新增突破样本）。结果进入门禁：把"高危 ASR 阈值"与"新增高危突破数"作为发布门禁指标，超限即阻断发布；新增突破样本回流到攻击集，形成持续对抗。核心是"自动化 + 分级 + 门禁 + 回流"形成闭环。

红队自动化把"人工渗透"变成"可持续的对抗流水线"。自动生成扩大覆盖面，分级让处置有轻重，门禁让安全成为硬约束，回流让攻击集越用越强。这种闭环才能跟上不断演化的攻击手段。

• 调用链环节
• 脱敏与访问控制
• 脱敏不破坏功能

隐私安全应在调用链多处落地：输入侧——在请求进入模型前做输入脱敏（识别并替换 PII、密钥、敏感字段），以及访问控制（鉴权、权限校验）；模型调用侧——用最小权限的凭证、加密传输、不记录敏感输入；输出侧——对模型输出做脱敏与过滤（防止模型把敏感信息写出来）、内容校验；存储/日志侧——对日志与存储做脱敏、设留存期限与访问权限。脱敏不破坏功能的关键：用"可逆脱敏/占位符替换"（如把姓名替换为，保持类型与语义，模型可基于占位符完成任务），或"脱敏后仍保留必要上下文"；对需要还原的场景做映射管理，脱敏数据在受控链路内还原。核心是"脱敏发生在数据最外层、还原在最内层、且不破坏模型所需的结构"。

隐私保护是"纵深 + 分层"。输入脱敏、输出过滤、存储留痕、访问控制各管一段，形成全链路。脱敏不破坏功能的关键是"保结构、可还原"，让模型在脱敏数据上仍能完成任务，而不是简单地"乱码替换"。

• 合规手段组合
• 误杀与漏放权衡
• 组合策略

输出合规组合：敏感词过滤——对确定性违禁词做规则拦截，覆盖快、精度高；版权风格规避——约束模型不模仿特定作者/版权风格，防止版权侵权（提示词约束 + 输出检测 + 风格指纹）；AIGC 标识——对 AI 生成内容加显式/隐式标识（如水印、C2PA、声明），满足合规要求。三者组合：过滤管"内容红线"，规避管"版权风险"，标识管"来源透明"。误杀与漏放权衡：误杀（合规内容被拦）伤害体验，漏放（违规内容放行）伤害安全与合规。权衡策略是"分级处置"——高危违规直接拦截（少漏放），中低危降级（提示修改/加免责声明），并设置白名单与人工复核通道降低误杀；用"漏放率"监控安全底线、"误杀率"监控体验，动态调整阈值。核心是"红线从严、边缘可复核、指标双监控"。

输出合规是"多手段 + 双指标"的组合拳。敏感词/版权/标识各管一类风险，误杀与漏放通过分级处置与人工复核平衡。用"漏放率"与"误杀率"双指标监控，才能既守住合规底线又不伤体验。

• 安全指标含义
• 进入选型与上线
• 决策机制

关键安全指标：攻击成功率（ASR，越狱/注入攻破比例）、拒绝率（对有害请求正确拒答的比例）、误伤率（正常请求被误拒/误伤的比例）。把这些指标纳入决策：选型阶段——对候选模型跑同一安全评测集，比较 ASR、拒绝率、误伤率，为重要安全维度设硬性门槛（如 ASR 低于 Y、误伤率低于 Z），不达标模型不入选；上线阶段——作为发布门禁与灰度监控指标，新模型上线若安全指标相对旧模型退化（ASR 上升、误伤率上升）则阻断或回滚；同时用"安全指标 + 能力指标"双轴评估，避免"能力更强但安全更差"的模型上线。工程上把指标做成可复现、可对比、可问责的看板，纳入发布决策流程。

安全指标要像能力指标一样成为"硬数据"。ASR、拒绝率、误伤率分别反映"防得住、拒得对、不误伤"，把它们设为选型门槛与上线门禁，才能让安全从"事后补救"变成"事前决策"，并量化安全与能力的权衡。

• 验收维度
• 逐项测试方法
• 验收流程

上线前安全验收清单应覆盖：提示注入——用注入攻击集（直接/间接）测试系统是否被诱导执行越权指令；越狱——用越狱变体测试模型是否被绕过安全对齐；隐私泄露——测试模型是否输出训练/输入中的敏感信息、是否越权访问数据；内容违规——测试输出是否含 NSFW、暴力、政治敏感、违法内容；此外还有工具滥用、过度授权、幻觉等。逐项测试方法：为每个维度构造固定测试集 + 判定标准，自动化执行并记录结果（ASR、通过率），辅以人工抽检与红队补充；对发现的问题给出修复项与复核。验收流程：把清单内化为发布门禁，未通过不发布；对高风险应用（金融、医疗、政务）做更严格的人工验收。核心是"清单化、可复现、可门禁"。

安全验收清单把"上线前安全"从"凭感觉"变成"可执行流程"。覆盖注入、越狱、隐私、违规四大类，用固定测试集 + 门禁落地，让每个版本上线前都有明确的安全合格线。清单需随威胁演变持续更新。

• 攻击面到缓解措施的映射
• 缓解措施类别
• 转化流程

红队发现攻击面后，要转化为应用层缓解措施，形成"攻击面→缓解项"的映射：输入过滤——针对注入/恶意输入，在输入端清洗、校验、检测；输出校验——针对输出泄露/有害内容，在输出端过滤、校验、脱敏；权限收敛——针对越权/过度授权，收紧工具与数据的最小权限；人工审批——针对高危害/不可逆操作，引入 HITL 审批。转化流程：红队报告 → 按攻击面归类到对应缓解层 → 设计并实现缓解项 → 用红队攻击集回归验证缓解是否有效 → 纳入监控与门禁。要点是"一层一机制、可验证、可回归"，让每个攻击面都有明确的缓解入口，而不是只修特定样本。

红队价值在于"发现攻击面"，而攻击面要落到"机制层"才持久。把注入/越权/泄露/危害分别映射到输入过滤、权限收敛、输出校验、人工审批，并用回归验证，才能把"一时攻破"变成"系统加固"。

• 拒答解释
• 替代路径
• 避免对抗性追问

模型拒答时，好的做法是"解释原因 + 提供替代"而非生硬拒绝。原因解释：说明"为什么不能提供"（如涉及敏感信息、超出能力、可能违规），用中性、非对抗的语气，不陷入"我为什么拒答"的辩解；替代路径：把请求重定向到安全可行的方向——如"我不能提供具体内容，但可以帮你了解相关规定/实现安全版本/提供一般性信息"，引导用户走向合规且有用的结果。避免对抗性追问：不让用户通过"再问一次、换种说法、指责模型"来撬开答案，具体的应对是：重复且一致的拒答、不提供越狱提示、必要时温和终止话题或转人工。设计上把"拒答文案 + 替代建议"做成可配置模板，兼顾一致性、合规与用户体验。

拒答是安全边界，但表达方式影响体验与对抗。解释原因降低对抗性，提供替代把"拒绝"转化为"引导"，一致拒答堵住追撬缺口。好的拒答设计让用户在"被拒"时仍感到被帮助，而非被激怒。