人类在回路

• 风险阈值触发的逻辑
• 置信度触发的逻辑
• 两者结合与优先级

HITL 触发条件有两种方向：①风险阈值——按任务的风险等级（金额、影响范围、合规要求）触发，属于"规则驱动"，反应的是"这事必须人确认"，与模型表现无关；②置信度——按模型对输出的置信度触发，属于"模型驱动"，反映的是"模型自己没把握"。两者应结合：风险阈值是底线（无论置信多高，高风险动作都要人确认），置信度是补充（低置信但未达风险阈值的也要人介入）。优先级上，风险阈值优先——只要风险等级超限就触发；置信度作为兜底，在风险内但置信度低的场景补上。触发条件可配置成二维矩阵（风险等级 × 置信度），为不同组合设定不同的处理（自动放行/抽样/人工确认）。触发条件需结合业务与评测调优，避免过度打扰（太多无关触发）或漏触发（漏掉高风险）。

HITL 触发是"规则（风险）与信号（置信度）"的结合。风险阈值保证"该人定的必人定"，置信度补充"模型没把握的也人定"，二维矩阵让触发更精细、更可调。

• 摘要应包含的信息要素
• 信息完整性与摘要长度的平衡
• 可追溯性（引用原始轨迹）

升级给人类时，摘要要"既完整又简洁"，包含决策所需全部要素：①任务目标与背景；②当前状态与已完成步骤；③升级原因（哪里失败/哪里需确认）；④Agent 的建议与备选方案；⑤关键证据/数据（失败信息、相关数据、风险点）；⑥需要人类明确答复的决策点（如"是否批准 X 金额支付"）。为保证完整性，可提供"摘要 + 展开链接"两级结构：摘要用于快速浏览，原始轨迹/完整上下文可点击展开回看，保证不漏信息。摘要应结构化（协议/模板），避免遗漏关键字段，并标注不确定性（哪些信息 Agent 不确定）。为防遗漏，可对摘要做"决策完备性检查"——是否含目标、现状、原因、选项、待决问题。

升级摘要的质量决定人类决策质量。用"结构化要素 + 两级展开 + 明确决策点"保证完整，用模板防遗漏，用溯源保证可核查，才能让人类在信息充分下快速决策。

• 监督者的角色与判断依据
• 触发仲裁的信号：冲突、低置信、风险、异常
• 仲裁的多级路径（Agent 内解决→升级）

在 Actor-Critic/Supervisor 多 Agent 架构里，监督者负责协调与裁决。判断是否需要人类仲裁的触发信号包括：①子 Agent 间冲突——多个 Agent 给出矛盾结论且无法自动调和；②低置信——关键结论置信度低于阈值；③风险超限——动作涉及高风险/大额/合规边界；④异常轨迹——Agent 行为偏离计划、重复失败、陷入循环；⑤信息不足——需要外部/人类才知道的信息。监督者应先尝试"Agent 内解决"（如再次协调、汇聚多 Agent 意见、用规则裁决），只有在自动解决失败或风险/置信信号超标时才升级人类。判断标准可配置为"风险等级 × 自动解决成功率 × 置信度"的组合，且监督者要能区分"可自动裁决的低风险分歧"与"必须人定的高风险分歧"。

监督者的核心是"分级裁决"——能自动调和的不打扰人，调和不了或高风险/低置信的才升级。把"升级决策"做成可配置的规则+信号判断，避免过度升级或漏升级。

• 自动化偏差的表现与危害
• 盲审（对审批人隐藏 Agent 结论）
• 抽样复核

自动化偏差是 HITL 的关键风险——人类因信任 Agent 而"无脑点通过"，使审批形同虚设。缓解手段：①盲审——部分样本不向审批人展示 Agent 的结论/建议，只展示原始材料，让双方独立判断，避免被"先入为主"影响；②抽样复核——对已通过的审批做随机/按风险抽样后复核，检验审批质量；③异议率监控——监控审批人提出异议的比例，若异议率长期过低（趋近零），说明审批流于形式，是自动化偏差的信号，应触发干预（提高盲审比例、加强培训）；④故意植入错误（honeypot/金标准）来测试审批人是否认真审查。异议率监控还可分审批人看，识别"全盘通过"的个体。综合运用，让"人审"真正有把关价值。

自动化偏差的本质是"人把把关责任交给了机器"。盲审打破先入为主、抽样复核验证把关质量、异议率监控暴露"流于形式"，三者配合把 HITL 从"形式"拉回"实质"。

• 多级审批的层级设计与金额/风险规则
• 审批状态与 Agent 任务状态机联动
• 通过/拒绝的流转（推进、回退、终止）

多级审批链按"金额/风险"定义审批层级（如低金额本部门审批、中金额部门+财务、高金额+总监）。设计要点：①规则映射——任务的风险等级/金额映射到所需审批层级，决定"需要谁批"；②状态机联动——Agent 任务状态与审批状态联动，如"待一级审批→一级通过→待二级审批→全部通过→执行"，任一拒绝则任务进入"被拒/终止"或"回退重提"；③流转——通过逐级推进，拒绝则按策略回退（可修改后重提）或终止；④并发与顺序——多级可能是串行或并行（多角色同时签）；⑤审计——记录每级审批人、时间、依据。状态机要能处理"超时未批""审批人离线""驳回原因"等分支，且 Agent 在审批通过前不执行高风险动作，通过后才推进。实现上常用状态机引擎（如 XState/工作流）管理流转，保证一致性与可追踪。

多级审批本质是"风险分级 + 状态机流转"。把 Agent 任务状态与审批状态显式联动，用状态机管理"通过/拒绝/回退/终止"的确定性流转，既能控制风险又保证流程可审计、可恢复。

• 反馈的来源与类型（纠错、审批意见、评分）
• 反馈的汇聚与结构化
• 回流到策略改进的途径（Prompt、规则、评测、RLHF）

HITL 反馈是 Agent 改进的宝贵信号。回流路径：①收集——审批驳回理由、纠错、评分、用户标注等反馈结构化入库；②分析——识别反馈的模式（哪类任务常被驳回、哪类错误高频），发现 Agent 策略的薄弱点；③回流改进——把反馈转化为：更新 Prompt（few-shot 反例、明确规则）、加规则/校验、调整阈值、扩充评测集做回归、或作为偏好数据做模型微调（RLHF/DPO）；④闭环验证——用新增反馈样本评测改进效果，确认策略确实改善。设计上要保证反馈质量（过滤噪音、规范标注），并区分"一次性反馈"与"可泛化的策略信号"——能泛化的沉淀为规则/样本，不能泛化的仅用于单次修正。形成"人审→反馈→策略迭代→再评估"的循环。

人在回路不仅是"把关"，更是"数据来源"。把人类反馈结构化、分析模式、回流到 Prompt/规则/评测/微调，形成反馈驱动的持续改进，让人类判断转化为 Agent 的长期能力。

• 安全与流畅的张力
• 减少打断手段：批量审批、聚合、免打扰
• 关键审批的突出呈现

审批 UX 要平衡"安全把关"与"流畅不打扰"。减少打断的手段：①分组/批量审批——把可合并的审批聚合为一个列表，用户一次性处理，减少打断次数；②智能分级——低风险/低价值的审批自动放行或合并，高风险/高价值才单独弹出；③异步通知——审批用通知/待办列表呈现而非打断式弹窗，用户按需处理；④免打扰时段——根据用户设置在工作时段集中处理；⑤关键审批突出——对高风险审批用醒目视觉、强校验（如二次确认）突出，确保安全。核心是"把打断留给真正重要的"：用规则判定哪些审批必须在线打断（高风险、紧急），哪些可放进待办队列。同时提供快捷操作（一键批量通过/拒绝、默认选项）提升效率，但保留对高风险项目的强制确认。

审批 UX 的本质是"按风险决定打断强度"。低风险进队列批量处理，高风险在线强确认，用分级与聚合在安全与流畅之间取得平衡，避免"要么全打断、要么全放行"的两个极端。

• 检查点（checkpoint）的设计与持久化
• 状态保存的内容（上下文、中间结果、执行进度）
• 崩溃恢复机制（幂等、断点续跑）

长任务崩溃恢复依赖"检查点持久化"。设计：①在关键步骤（工具调用、里程碑）落检查点，保存状态——对话历史、已完成步骤、中间结果、部分输出、任务上下文；②崩溃恢复——重启后从最近检查点恢复状态，继续执行剩余步骤，而非从头跑；③幂等设计——可重放的工具调用要幂等（或记"已执行"标记），避免重复副作用；④保存粒度——检查点不能太密（成本高）也不能太疏（丢失多），按步骤价值与恢复成本权衡；⑤恢复验证——恢复后校验状态一致性（如中间结果是否完整）再继续。实现上可用状态持久化（数据库/检查点文件）配合"断点续跑"逻辑，配合任务编排（如 durable execution/工作流）让 Agent 具备崩溃恢复能力。

崩溃恢复的本质是"把任务状态物化到可靠存储，故障后可续跑"。检查点粒度、幂等性、状态一致性是三个关键设计点，配合可恢复的执行框架，让长任务不被一次崩溃打回原形。

• Saga 模式与补偿事务的概念
• 补偿步骤的编排
• 幂等与补偿可靠性

多步任务中若某步失败，前面已执行的有副作用步骤需要"补偿"回滚，这对应 Saga 模式。设计：每个有副作用的步骤定义对应的补偿动作（如扣款对应退款、下单对应取消、写库对应回滚）；编排上，当某步失败，按逆序执行已成功步骤的补偿动作，恢复到一致状态。要点：①补偿动作要幂等——重复执行不产生新副作用；②补偿也要可靠——补偿失败需重试/告警/人工介入；③补偿状态管理——记录每步执行状态（成功/失败/待补偿），失败后进入补偿流程；④区分"可补偿"与"不可补偿"步骤——不可补偿的（如已发送对外邮件）需特殊处理（告知用户、人工兜底）。部分失败也可选择"部分成功"策略：不整体回滚，而是保留已完成的无冲突部分，仅回滚受影响步骤，并明确告知用户哪部分成功。

多步任务的失败处理核心是"补偿机制"。Saga 用逆序补偿+幂等实现一致性，关键是区分可补偿/不可补偿、保证补偿可靠、管理状态，避免"一步失败全盘作废"或"状态不一致"。

• 跨会话持久化任务状态
• 已执行步骤的记录与去重
• 目标继承与续跑

跨会话继承未完成目标的关键是"持久化任务状态 + 记录已执行步骤"。设计：①持久化——把任务目标、上下文、已完成步骤列表、中间结果存入持久存储（数据库），会话结束/新会话时读取；②去重——已执行步骤记录"步骤+结果+幂等键"，新会话恢复时跳过已完成步骤，直接续跑剩余；③状态还原——恢复上下文与中间结果，让 Agent 知道"做到哪了、还差什么"；④幂等——对可重放步骤用幂等键防止重复副作用（如重复扣款/重复发送）。实现上可以用"任务计划 + 完成标记"的清单，每完成一步标记，恢复时按标记续跑；同时提供"重新开始/继续"的入口。要避免"新会话从零开始重新规划"导致重复，需在恢复时注入历史执行摘要。

跨会话续跑的本质是"把会话状态物化到可持久化的任务状态"。用完成清单+幂等键保证不重复、可恢复，避免新会话从零重来，是"会话中断但任务不断"的关键。

• 审批点位置（流程中哪里设审批）
• 审批超时处理
• 无人响应的降级策略

HITL 设计要按风险等级差异化配置三大要素：①审批点位置——高风险任务在关键动作前设审批（如支付前、外发前），低风险任务在末端或抽样设审批；②审批超时——设等待时长，超时后按策略处理；③无人响应降级——按风险分级：高风险任务超时后"默认拒绝/挂起"（宁可不执行也不冒险），中风险"自动放行但记录并告警"（或升级到更高审批人），低风险"自动放行"。核心原则是"风险越高，越倾向保守"——高风险宁可等待/拒绝，不自动放行；低风险允许自动放行以保证效率。还需处理审批人不在线：委派、值班、升级给上级。配置通过"风险等级×审批点×超时策略"矩阵统一管理，便于审计与调整。

HITL 的降级策略本质是"用风险决定保守程度"。审批点埋在哪、超时多久、超时后怎么办，都按风险等级配置——高风险保守（挂起/拒绝）、低风险宽松（自动放行），在安全与效率间取平衡。

• 审计留痕的信息要素
• 不可篡改与可追溯
• 合规要求（监管、责任边界）

HITL 审计留痕要记录完整决策链：①审批人（身份、角色）、审批时间、审批结论（通过/拒绝/条件）；②上下文摘要（当时 Agent 呈现给审批人的信息）；③决策依据（审批人看到的证据、Agent 的推理、风险提示）；④时效数据快照（当时的价格/状态，防止事后变样）；⑤审批视图（审批人当时看到的内容，WYSIWYG）。这些记录要不可篡改（防改动、可校验）、可追溯（从任务到审批到人），并满足合规要求（监管留存期限、责任边界——谁批的、批了什么）。用于复盘——对争议/失败案例回溯到当时的审批决策，判断是系统问题还是人为误判。实现上需结构化存储、版本化、权限控制，并对关键审批做签名/哈希校验。

审计留痕是 HITL 的"责任与复盘"基础。把"谁、何时、批了什么、依据什么、看到什么"完整记录并不可篡改，才能满足合规、界定责任、支撑复盘。

• 三种反馈形式：纠错、评分、示范
• 各自转化为改进信号的方式
• 反馈的标准化与结构化

三种反馈形式各有转化路径：①纠错（corrective）——用户指出哪错了、改成什么，转化为"错误案例"（few-shot 反例、规则约束、评测样本），用于防止同类错误；②评分（rating/scoring）——用户打分，转化为"偏好信号"（哪些输出好、哪些差），可用于模型微调（RLHF/DPO）或作为 Prompt 中的质量锚点；③示范（demonstration）——用户给出正确做法，转化为"few-shot 示例"或"标准流程"，指导 Agent 遵循正确方式。工程化要点：把反馈标准化为结构化格式（输入、错误输出、正确输出、原因、评分、示范），统一入库；按反馈类型分流到不同改进通道（规则/Prompt/评测/微调）；标识反馈的可复用性（能否泛化到同类任务），能泛化的沉淀为策略，不能的仅用于单次。这样反馈从"一次性对话"变成"可复用的改进资产"。

反馈工程化的本质是"把非结构化的用户反馈标准化为可训练的改进信号"。纠错→反例、评分→偏好、示范→示例，分流到对应通道，并衡量可复用性，让反馈真正反哺 Agent 能力。

• 修复事件的记录与分类
• 修复成功率指标定义
• 观测指标（修复率、耗时、成本）

自修复能力的可观测性要求在 Agent 执行中埋点记录"修复事件"：触发修复的原因、修复尝试次数、是否成功、耗时与成本。核心指标修复成功率＝修复成功次数/修复尝试次数，可按失败类型、任务类型、模型、工具维度拆分，识别"哪些修复最有效、哪些最费"；辅助指标：平均修复轮数、修复耗时、修复成本、未修复而升级率。度量上要定义清楚"什么算修复成功"（如最终通过验证/达到目标）。工程上把修复事件写入日志/指标系统，做监控看板与告警——修复成功率过低说明自修复机制失效，需要改进；修复成本过高说明触发条件过松。同时区分"修复成功但结果差"（修正了形式错误但没解决根因）与"真正成功"。

修复可观测性的价值是"量化自修复的投入产出"。用修复成功率+修复成本+升级率等指标，按维度分解，才能判断自修复机制是否有效、何时应加强或收敛。

• 审核队列与优先级
• SLA（等待时长）设定
• 自动放行与降级策略

人工审核队列与 SLA 要按风险等级差异化配置：①队列优先级——高风险任务插队/高优先级，低风险排后，可用优先级队列+加权调度；②等待 SLA——设定最大等待时长，高风险任务给较短 SLA 或实时处理，低风险可接受较长等待；③超时降级——SLA 超时后按风险处理：高风险自动挂起/拒绝（宁等不冒险）或升级到上级，中风险自动放行但记录告警，低风险自动放行；④审批能力——按队列积压调整审批资源（高峰扩容、值班）。核心是"风险越高越保守、越优先"：保障高风险任务按时被审、超时也不自动放行；低风险任务可容忍等待并可自动放行。实践中用"风险等级×SLA×降级动作"矩阵配置，并监控队列积压与 SLA 达成率。

审核队列与 SLA 的本质是"用风险决定资源倾斜与超时行为"。高风险优先、保守降级，低风险容错、宽松放行，配合监控保证 SLA 达成，兼顾及时性与安全。

• 高风险场景的审批点特殊性
• 责任边界（谁负责、谁批准）
• 合规留痕要求

金融、医疗、法律等高风险场景的 HITL 有特殊要求：①审批点前置——关键动作（资金划转、诊断建议、法律意见）必须由有资质的人类在动作前审批，不能事后补救；②责任边界清晰——明确"Agent 建议、人类批准、人类负责"的边界，批准人需具备资质与授权，责任归属可追溯；③合规留痕——记录审批人、资质、时间、决策依据、上下文快照，且不可篡改、保存期满足监管要求；④可解释性——Agent 的建议需可解释（依据、推理、风险提示），人类才能负责任地批准；⑤异常上报——涉及禁止项/敏感项自动拒绝并上报合规。留痕设计要满足监管审计（如金融的留痕期限、医疗的知情同意、法律的事务保密），并支持事后问责与争议复盘。

风险场景的 HITL 核心是"责任与合规"。审批点必须前置、责任边界清晰、留痕不可篡改且满足监管，让 Agent 提供可解释建议、人类做有据可依的批准，才能控制合规与责任风险。

• 批量审核的效率
• 规则预审的筛选
• 风险分层抽样

审核效率的目标是"在覆盖度与人力成本间平衡"。组合策略：①规则预审——先用确定性规则自动筛掉明显合规/低风险项，减少人工负担；②批量审核——把同类可合并的审核项聚合批量处理，提升吞吐；③风险分层抽样——按风险等级分层，高风险项全量人工审核，中风险抽样审核，低风险规则放行或极低比例抽样；④人机分工——规则处理确定性、模型处理常规、人工聚焦高风险与边缘。通过"规则预审+"分层抽样"把人力集中在真正需要判断的高风险项上，既保证高风险覆盖度，又控制整体人力成本。同时监控抽样错误率，若低风险样本错误率升高，则提高抽样比例或升级为全量。

审核效率的平衡点是"把人力花在刀刃上"。规则预审减轻负担、批量审核提吞吐、风险分层抽样定向投入，让高覆盖与低成本兼得，并用错误率监控动态调整。

• 三种分级模式的定义
• 各模式的适用场景
• 分级与风险/自主度的关系

HITL 分级模型定义了人类对 Agent 的参与程度：①in-the-loop——人在流程内，每个关键动作都需人参与/审批，适合高风险、高价值、不可犯错的任务（金融支付、医疗、法律），安全但慢、打断多；②on-the-loop——人在流程外监控，Agent 自主执行，人仅在异常时介入，适合常规、可监控、错误可纠正的任务，兼顾效率与可控；③out-of-the-loop——人基本不参与，Agent 全自动，适合低风险、可容忍错误、海量/实时的任务，效率最高但失控风险大。适用边界由"风险 × 错误代价 × 可纠正性 × 效率需求"决定：风险与错误代价越高越倾向 in-the-loop；可纠正性强、效率要求高则倾向 out-of-the-loop。设计上可混合——同一任务按子步骤风险分级（高风险 in、低风险 out），并建立"升级机制"（out 自动转 on/in）。

HITL 分级是"人类参与度"的连续谱，边界由风险与成本决定。in 保安全、on 保监控、out 保效率，按子步骤风险混合分级并配升级机制，是平衡自主与可控的关键。

• 委派、值班、角色代理的机制
• 权限与授权边界
• 审计记录实际审批人

审批人不在线时需委派/代理机制避免流程卡死：①委派（delegation）——审批人主动把某任务/某时段审批权委派给指定人，需明确授权范围与期限；②值班（on-call/轮值）——按值班表轮转，审批人不在时由值班人处理，保证审批及时；③角色代理（role proxy）——按角色自动归属（如"财务审批"由当前财务角色人员处理），适用于角色化审批。配置要点：委派需授权记录、范围限制（不能越级）、超时自动升级；角色代理要避免"角色冲突"（同一人既申请又审批）。审计关键：记录"实际审批人"而非"名义审批人"——记录审批动作的实际执行人、以及委派/代理关系（谁委派给谁、何时、权限），保证责任可追溯、满足合规。被委派/代理人的审批同样要留痕、可查。

审批委派与代理解决"人在不在线"的可用性问题，但必须以"实际审批人留痕"保证责任。委派范围受限、值班轮转、角色代理归一，审计追到实际执行人，兼顾效率与合规。