RAG 评估与故障排查

• RAG 链路各阶段的故障类型与特征
• 故障拆解的方法（阶段轨迹、环节指标、对照实验）
• 故障定位到阶段的判定规则

错误回答的拆解需要"链路轨迹 + 环节对照"。先把错误分为两类：答非所问（问题理解错）与答而不对（理解对但证据/生成错）。按阶段拆解：查询理解故障——改写/意图/指代解析错误导致检索的查询本身错（特征：改写后查询与原问题语义偏离、检索结果整体不相关）；召回故障——查询正确但相关文档未被召回（特征：检索结果中无相关文档，可支撑率为 0，常见于分块/Embedding/混合检索配置问题）；重排故障——相关文档在召回里但排名靠后被挤出上下文（特征：Top-K 上下文无相关证据但 Top-100 召回有）；上下文组装故障——证据在但组装乱（去重误杀、排序乱、父子块丢失、证据超预算被截断）；生成故障——证据齐全但答案错（特征：上下文相关证据充分，但答案未用证据、幻觉、引用错标，属提示/约束/模型问题）。拆解方法：一是环节轨迹——每阶段记录输入输出（原始问题、改写查询、召回列表、重排列表、组装上下文、生成答案），逐环检查；二是环节指标对照——各阶段埋点（改写相似度、召回 Recall@K、上下文相关率、引用支持率），数值定位故障层；三是消融对照——同一问题分别跑"只召回不重排""只组装不生成约束"等变体，观察哪步引入错误；四是失败模式库——把常见错误（指代错、漏召回、证据淹没、无据硬答）映射到阶段，建立"症状→阶段→根因"对照表加速定位。所有拆解结论记录归因标签（query_understanding/retrieval/rerank/assembly/generation）进入评估体系。

拆解错误的前提是"链路可观测"：没有每阶段的输入输出与指标，只能猜。答题按"两类错误→五阶段故障特征→三方法（轨迹/指标/消融）→归因标签闭环"展开，强调把拆解沉淀为自动化归因。

• 生产查询的分层维度（频次、难度、类型、时段）
• 分层采样的方法（高频层、长尾层、失败层、新查询层）
• 相关性标注流程与质量保障

评估集最常见的偏差是"只含容易问题"：人工构造的查询往往简单清晰，无法反映线上真实的困难分布。分层采样方案：按频次分层——高频查询（占流量大，如 60% 流量 20% 查询）全量或高比例采样，中频查询随机采样，长尾查询（低频但总量大）按代表性采样；按难度分层——用启发式（查询长度、是否多意图、是否含模糊词）或模型预测难度，保证难查询占比；按结果质量分层——从"失败样本池"（用户点踩、零结果、低分、改问重试的查询）强制采样，失败样本是评估集的金矿；按类型分层——精确型、语义型、多轮型、多跳型、多语言、多模态分别覆盖；按时间分层——不同时段/季节的查询都要有（防季节性偏差）。构造标注：每个查询标注相关文档集（从生产检索结果 + 人工补充中选出，标注"相关/部分相关/不相关"），对难查询双人标注 + 仲裁；标注后用"查询分布画像"验证——评估集的频次分布、难度分布、失败占比是否与生产一致（分布漂移检测）。落地建议：以"生产流量代表性"为第一原则，定期从日志重新采样（评估集版本化），把"评估集分布 vs 生产分布"的差异作为评估集自身的质量指标。

评估集的代表性问题比标注更致命：容易问题组成的评估集会让指标虚高且掩盖线上失败。答题核心是"分层采样（频次/难度/失败/类型/时间）+ 失败样本强制入集 + 分布画像校验"，突出"评估集版本化 + 分布漂移检测"的持续机制。

• 三指标的定义与计算
• 指标侧重：覆盖率 vs 首个位置 vs 整体排序
• 指标选择与 RAG 任务的匹配

Recall@K：前 K 个结果中相关文档数 ÷ 全部相关文档数，衡量"召回覆盖率"——关注"有没有漏"，对排序位置不敏感（K 内位置 1 与位置 K 同权）；适合"证据不能漏"的 RAG 召回评估。MRR：第一个相关结果的排名倒数（1/rank）的均值，只关注"第一个相关结果有多靠前"——适合"一个正确答案即可"的任务（单轮问答、查号），完全不看后续结果。NDCG：按位置折扣的累积相关度（DCG）除以理想排序（IDCG）归一化，越靠前贡献越大，需要分级相关度（0/1 或 0-2），衡量"整体排序质量"——适合用户会浏览多个结果的场景（多证据综合、列表式回答）。选择建议：RAG 证据召回阶段主看 Recall@K（K 取进入重排的候选数，如 50/100），重排阶段看 NDCG@K（K 取进入上下文的数，如 5/10），首答位置敏感的产品（单答案助手）加看 MRR；三个指标要一起看——Recall 高但 NDCG 低说明"相关都在但排得乱"，MRR 高但 Recall 低说明"第一个对但整体覆盖差"。K 的选择影响结论：K 太小只看前排、K 太大稀释差异，报告时固定 K 并同时报多个 K（@5/@10/@50）观察曲线。

指标是"观测口径"，选错口径会误导优化：只盯 MRR 会忽略召回缺口，只盯 Recall 会忽略排序问题。答题先精确区分三指标（覆盖/首答/排序），再按 RAG 两阶段（召回看 Recall、重排看 NDCG）给出组合用法。

• 三种来源的偏差特征（分布、难度、领域）
• 三种来源的成本构成（标注、维护、获取）
• 金标准集的组合策略与版本管理

三种来源各有利弊。生产 query 抽样：从日志按分布抽样 + 标注相关文档；优点是与线上分布一致（最贴近真实）、能捕获失败样本；偏差——受现有系统影响（用户查询受当前检索结果塑造，可能收敛于"系统擅长的问题"）、标注依赖当前索引（相关文档以当前库为准）；成本——需要持续采样与标注维护，标注相关文档需人工或 LLM 辅助。人工构造：领域专家编写典型问题 + 标准答案；优点——可控、覆盖专家关心的场景、难度可设计；偏差——专家自认为的"典型"与真实用户分布可能偏离（专家清晰、用户口语）、规模有限、容易"简单化"；成本——专家时间贵，且维护（业务变化后重写）。公开数据集（如 Natural Questions、MS MARCO、RAGBench）：优点——现成、有公认基线、便于横向对比；偏差——领域与语言分布可能完全不同于业务（通用数据集 vs 企业私域）、语料不可见（无法在私有库上评估）、时效差；成本——零标注成本但适配成本高。组合策略：以"生产抽样集"为主（占 60-70%，代表真实分布）、"人工构造集"为辅（20%，覆盖专家场景与边界案例）、"公开集"做横向基线（10%，用于对比业界水平与选型）；三类集分开报告指标（不混算，防止分布互相稀释）；金标准集版本化管理——每次业务/索引大版本升级重新采样校验，标注集随语料更新。

金标准集的本质是"用有偏样本逼近真实分布"：任何单一来源都有系统性偏差。答题按"三来源的偏差与成本对比→组合配比（生产为主+人工为辅+公开做基线）→分开报告与版本管理"展开。

• 标准化归因日志的字段设计（阶段、输入输出、指标）
• 归因分类体系（检索/重排/生成/组装/查询）
• 排查流程（自动归因 → 人工复核 → 修复闭环）

标准化归因日志是失败分析的基石，字段设计按阶段覆盖：统一标识（query_id、trace_id、会话 id、时间）；查询阶段（原始 query、改写后 query、改写置信度、意图分类）；检索阶段（召回列表及分数、过滤器、k 值、召回数、是否零结果）；重排阶段（候选数、重排分数、Top-K 结果）；组装阶段（上下文块列表、每块来源、裁剪情况）；生成阶段（生成答案、引用列表、引用支持率、NLI 对齐分、拒绝原因）；结果级（用户反馈、人工标注）。归因分类体系：一级分类（查询理解/检索/重排/组装/生成/系统异常）与二级根因（如检索→分块问题/Embedding 问题/过滤过严/混合权重失衡），分类用"自动信号 + 人工确认"：自动信号如"上下文有相关证据但答案错"→生成类；"Top-100 无相关"→检索类。排查流程：第一步自动归因——日志经规则/小模型打归因标签，聚类出"失败模式 TOP 清单"；第二步人工复核——抽样确认归因准确率，修正错误标签（归因模型用修正数据迭代）；第三步根因分析——对高频模式做深挖（如"零结果"聚类下钻看是过滤过严还是语料缺失）；第四步修复闭环——修复动作（调参、补料、改提示）绑定归因标签，修复后重跑样本验证，更新失败模式库；流程配套：归因日志全量落库（不是抽样）、支持按 query 或 trace 检索回放、失败样本自动进评估集。指标：归因覆盖率、归因准确率（人工复核抽样）、失败模式 TOP 分布变化趋势。

失败归因要"先有日志、再有分类、最后闭环"：没有标准日志的归因是拍脑袋。答题按"日志字段设计→分类体系（一级+二级）→自动归因+人工复核流程→修复闭环与模式库"展开，强调全量落库与抽样复核。

• 四个质量维度的 rubric 定义（打分标准与锚点）
• 各维度与检索指标的对应关系
• 从检索指标到答案指标的传导分析

rubric 要把抽象质量变为可打分的标准。忠实度（faithfulness）：答案的每个断言是否被提供的证据支持——打分锚点：5 分全部断言有证据支持、3 分大部分支持且有少量无据推断、1 分答案与证据矛盾或大量编造；相关性（relevance）：答案是否回答用户问题且无冗余——5 分完全命中问题要点、3 分部分相关有冗余、1 分答非所问；完整性（completeness）：问题要求的所有方面是否都覆盖——按"问题要点清单"逐项核对，5 分全覆盖、3 分覆盖主要方面、1 分缺失关键方面；引用正确性（citation correctness）：引用编号与内容是否匹配且可访问——5 分全部引用正确且支持断言、3 分部分错标、1 分引用编造。与检索指标关联：忠实度 ↔ 上下文证据质量（召回 Recall、重排 NDCG 决定证据是否到位，忠实度低先查检索）；相关性 ↔ 查询理解与召回相关性（答非所问查查询理解，答偏查重排）；完整性 ↔ 召回覆盖率与多样性（漏要点查 Recall@K 与多源覆盖）；引用正确性 ↔ 证据溯源（引用错标查组装与引用约束）。传导分析：建立"检索指标→答案指标"的归因矩阵——如"Recall@50 低且忠实度低"→检索端问题；"Recall 高但忠实度低"→生成端问题（证据没用上）；用"证据到位率"（相关证据进入上下文的占比）作为中间指标连接两端。评分实践：LLM-as-Judge 打分需 rubric 锚点 + 示例校准，人工抽检对齐。

四个维度是 RAG 答案质量的"四视图"，rubric 的价值在"可执行打分标准"；而与检索指标的关联揭示"质量问题的传导路径"。答题先给四维度 rubric 锚点，再给"检索指标→答案指标"归因矩阵与中间指标。

• 各监控指标的定义与阈值设计
• 指标采集（链路埋点、日志、抽样评估）
• 告警与联动处置（分级告警、自动降级）

六类指标构成 RAG 线上健康度面板，各有监控要点。零结果率：检索返回空结果的查询占比——采集于检索埋点，按查询类型分层（全局零结果 vs 过滤后零结果），阈值如 <2%，超阈值告警并自动下钻（是语料缺失还是过滤过严）。低分结果：Top-1 相似度/重排分低于阈值的查询占比——反映"硬凑答案"风险，低分查询应走拒答路径而非硬答；监控分数分布（P50/P90）漂移。错误引用：引用支持率抽样评估（NLI 对齐）的线上采样版——对生产答案抽样跑"断言-引用"校验，错误引用率阈值如 <3%，超阈值触发引用约束修复；全部答案校验成本高，采用分层抽样（按流量与风险分层）。索引新鲜度：文档更新到检索可见的延迟 P95、过期文档占比、墓碑堆积量——采集于摄取管道与索引水位，超 SLA 告警。P95 延迟：端到端 P95 与分段 P95（改写/检索/重排/生成），生成与重排是主要变量；P95 异常先看分段定位；按模型与检索参数分桶。权限拒绝：权限过滤导致的拒绝/降权事件数、越权尝试计数、权限过滤耗时——安全类指标要"低阈值高响应"（越权召回数 > 0 即告警，权限拒绝率突变也告警）。监控体系落地：埋点标准化（trace 贯穿）、指标按"业务线 × 查询类型"分层、告警分级（P0 越权/严重质量事故立即响应，P1 指标劣化自动降级，P2 趋势告警）、日志保留支撑回放归因。

线上监控的本质是"把质量承诺变成可观测、可告警、可处置的指标体系"：零结果/低分/引用错误是质量，新鲜度是数据，延迟是性能，权限是安全。答题按六类指标的采集点、阈值与处置方式展开，并强调分层与分级告警。

• 召回下降的定位手段（可视化、分布对比、条件回放）
• 指标对比的基线选择（时间窗、版本）
• 根因分类与修复验证

召回下降的定位分三步。第一步可视化对比：把"下降时间窗 vs 正常基线窗"的检索结果可视化对照——同一批高频查询在两侧的召回列表、Top 相似度、相关文档命中情况并排展示，直观定位是"结果整体变差"还是"特定查询变差"；用嵌入投影（向量分布图）观察查询与文档的相对位置是否漂移。第二步分数分布分析：对比两侧的相似度/重排分数分布（直方图）——分布整体左移说明 Embedding 或模型行为变化；分布不变但结果变差说明过滤或数据变化；分位数（P50/P90）与 Top-1 分数的变化曲线；同时看"分数-相关性"关系（校准变化：分没变但相关性下降说明打分失准）。第三步过滤条件回放：把下降查询的完整检索参数（过滤器、时间窗、权限、k 值、混合权重）从日志回放，逐步去除过滤条件观察召回恢复情况——定位"过滤条件变化"（新增过滤、权限策略变更、时间窗收紧）；回放还能对比新旧索引版本（同一查询在旧索引 vs 新索引的结果差异）定位索引重建/升级引入的退化。根因分类：数据侧（语料删改、新鲜度）、模型侧（Embedding/重排版本）、配置侧（k/阈值/权重/过滤）、流量侧（查询分布漂移）；修复后复用同一可视化与回放验证恢复。配套：检索日志必须保留完整上下文（查询、参数、版本号、结果）才能回放——日志设计先行。

召回下降定位的关键是"可对比"与"可回放"：没有基线对比与参数回放，只能猜。答题按"可视化对比→分数分布→过滤回放→根因分类→修复验证"展开，并强调检索日志完整性是回放的前提。

• 双塔相似度评估与端到端效果的层次差异
• 相关性成立的条件与失效场景
• 用端到端指标校准组件级评估

双塔相似度评估（组件级：query-doc 相似度排名）与端到端效果（答案质量）是不同层次：前者只测"检索排序"，后者叠加了重排、组装、生成多个环节。相关性成立的条件：当检索是瓶颈且其余环节稳定时，双塔指标（Recall@K、MRR）与端到端指标（答案忠实度、正确率）强相关——检索召回变好，答案质量随之变好。失效场景：一是"检索已达上限"——相关文档都能召回但答案仍错（生成/组装问题），此时提升 Embedding 不再改善端到端，双塔指标与端到端脱钩；二是"重排/组装环节决定成败"——检索分数差异被重排抹平或放大；三是"指标定义错位"——双塔优化的目标（如 MRR 优化首个位置）与端到端需求（多证据覆盖）不一致。结论与做法：组件级评估不能直接替代端到端评估，但可以做"预测与筛选"——组件指标用于快速筛选候选模型（成本低），端到端评估做最终裁决；更重要的是建立"传导关系"：在同一评估集上同时测双塔指标与端到端指标，量化"检索指标提升 X% 对应答案质量提升 Y%"（传导系数），用传导曲线判断当前瓶颈是否在检索端；若检索指标提升但端到端不变，说明瓶颈已转移（转查重排/生成）。实践上每个 Embedding 候选必须过端到端门禁（忠实度/正确率），不能只看双塔分。

本题考察"组件指标与系统指标的层级观"：双塔分好不代表 RAG 好，但可以用于筛选与瓶颈判断。答题核心是"相关性成立条件（检索为瓶颈时）→失效场景（瓶颈转移）→传导系数方法与端到端门禁"。

• 重建的原因与结果差异风险（Embedding 变化、分块变化、数据变化）
• 灰度策略（影子对比、小流量、分区灰度）
• 差异评估、回退与切换条件

索引重建的灰度本质是"控制新旧索引差异对线上影响的暴露面"。第一步影子对比：新索引构建完成后不接线上流量，而是复制线上查询在新旧索引各跑一遍，对比结果级指标——Recall@K 变化、Top-K 重合率、分数分布、每查询结果差异度；差异大（如重合率 < 80%）先定位根因（是 Embedding 版本、分块参数还是数据缺失），不允许带未知差异上线。第二步小流量灰度：选择低风险流量（内部用户、特定查询类型、非核心业务线）切到新索引，灰度流量比例 1%→5%→10%→50% 阶梯推进；灰度期间监控：检索质量指标（零结果率、低分率）、业务指标（用户反馈、采纳率、改问率）、性能指标（延迟、内存）；对比灰度桶与对照桶的指标差异。第三步切换与回退：灰度验证通过后全量切换，但保留旧索引可回退（回退条件预设：切换后 24-48h 内质量指标劣化超过阈值即回滚）；切换时刻选择低峰期，切换后监控"差异查询清单"（影子阶段标记的高差异查询）的实际表现。配套：新索引版本号进入检索日志（支撑回放归因）；重建期间的增量更新双写（新旧索引同步收增量，切换前补齐数据，防止切换丢新数据）；灰度门槛明确（如 Recall 不降、错误引用率不升、P95 不超），未过门槛不放行。

索引重建的风险不在重建本身，而在"新旧结果差异的未知性"：差异可能来自模型、分块或数据。答题按"影子对比（量化差异）→阶梯灰度（小流量验证）→预设回退条件（保留旧索引）→双写与版本日志"展开，突出每个阶段的门槛。

• Judge 偏差的类型（长度偏好、风格偏好、位置偏好、自我偏好）
• 缓解方法（rubric、示例校准、对照评分、因素解耦）
• Judge 质量的验证与人工校准

Judge 的系统性偏差会扭曲评估结论，常见的有：长度偏好（越长越像好答案）、风格偏好（结构工整/语气自信加分）、位置偏好（先出现的答案占优）、以及"跟答案本身相似"的自我偏好。缓解方法：一是强 rubric——把评分标准写成可判定的检查项（"答案是否包含正确数值""是否所有断言有引用支持"），要求 Judge 先逐项核对再打分，而不是整体印象分；二是示例校准——few-shot 提供"正确但简短"与"冗长但错误"的对照示例，明确"简短正确 > 冗长错误"；三是因素解耦——把"相关性、忠实度、完整性、流畅性"拆开单独打分，抑制"流畅性好拉高总分"的混淆；四是对照评分（pairwise）——让 Judge 比较两个答案而非绝对打分，且随机交换顺序消除位置偏差；五是参考答案——带标准答案的评分（Judge 对照"标准答案要点清单"核对），减少主观性。对长答案偏好的硬措施：要求 Judge 输出"支持评分的证据（引用答案中具体句子）"——无法给出证据的低分；或在评分前让 Judge 先抽取"答案的事实断言清单"再核对正确性，切断"长度→好感"通路。Judge 质量验证：人工标注一部分样本（gold），计算 Judge 与人工的一致性（Cohen's Kappa、相关分），定期抽样校准；监控 Judge 偏差信号（分数与长度相关性、分数分布漂移）。

Judge 偏差的本质是"用模型判断模型"引入了新的系统性误差：长度与风格是最大干扰项。答题按"偏差清单→缓解（rubric/对照/解耦/证据化）→一致性验证与偏差监控"展开，核心是把"整体印象分"变成"证据化核对分"。

• 索引完整性的校验维度（文档数、版本、水位、墓碑）
• 回填失败的检测（进度、失败率、校验差异）
• 安全重建流程（隔离、校验、灰度切换）

完整性校验是重建的前提，四维校验：文档数——索引 doc 计数与源系统/元数据库计数对比（差量即异常），分 collection 与租户粒度核对；版本——文档版本分布核对（最新版本是否全覆盖、历史版本残留量）、Embedding 模型版本标记一致性；水位——摄取管道的进度水位（最后处理的事件时间戳）对比源系统最新变更，滞后即回填未完成；墓碑——删除墓碑数量与源系统删除记录数量核对，墓碑积压说明删除未物理清理。回填失败检测：任务级（进度停滞、重试次数超限、失败率突增）、数据级（回填后抽样校验向量与原文一致性：重算 Embedding 对比相似度）、一致性级（重建索引与权威元数据的差异扫描）。安全重建流程：第一步全量校验当前损坏范围（四维核对定位损坏边界）；第二步隔离——重建索引在独立资源池构建（不占线上资源、不污染线上流量），构建期间线上继续用旧索引；第三步重建校验——新索引构建完成后跑"四维校验 + 黄金评估集指标对比"（新索引检索指标 vs 损坏前基线）；第四步灰度切换——影子对比 → 小流量 → 全量（同索引重建灰度流程），预设回退；第五步增量追平——重建期间产生的增量更新双写或切换前回放补数据，防止"重建完丢新数据"；重建全程保留审计日志（何时检测、重建范围、校验结果、切换动作）。

索引损坏与回填失败的处理核心是"先校验后重建、重建隔离、切换灰度"：在不确定损坏范围时全量重建反而可能覆盖好数据。答题按"四维校验→失败检测→隔离重建→校验与灰度切换→增量追平"展开，强调校验先行。

• 四维对比框架（质量、延迟、成本、维护）
• 各维度的实验设计与数据采集
• 结论的适用边界（文档规模、查询类型、模型能力）

对比必须四维量化，缺一不可。质量对比：同一评估集（生产抽样 + 黄金集）上分别跑 RAG 与"全文塞入"（或长上下文 + 简单检索拼接），测答案忠实度、相关性、正确率与引用支持率；关键结论变量——文档规模（单文档 10 页内长上下文可能占优，跨 100 篇文档时 RAG 必然胜出）、查询类型（单点事实查询两者相当，多跳与多源综合 RAG 更稳）、模型长上下文能力（长上下文的"中部迷失"问题使有效质量随长度下降，RAG 的精选上下文规避该问题）。延迟对比：同硬件与模型下测 P95——RAG 增加检索环节（几十 ms）但减少输入 token（生成快、首 token 快），全文塞入输入 token 巨大导致 prefill 耗时显著增加；用"端到端 P95 + 首 token 延迟"两个指标对比。Token 成本：按"每查询平均输入+输出 token × 单价"测算——RAG 输入少（几百到几千 token），全文塞入输入为文档总 token（万级到百万级）；长上下文方案的计费是线性增长，高频查询下成本差距悬殊；缓存视角：RAG 的文档向量可复用，长上下文每查询重复编码全文档。维护复杂度：RAG 多一套检索系统（索引、分块、重排、评估），运维成本高；长上下文方案零检索维护，但受模型上下文上限约束（文档超限需截断策略）且 prompt 设计脆弱（长提示易触发指令冲突）。结论框架：小语料、低频、单文档场景选长上下文省维护；大语料、高频、多源场景 RAG 的成本与质量优势明显；混合是主流——长上下文模型 + RAG 精选（RAG 保证相关、长上下文保证深度）。

"RAG vs 长上下文"是伪二选一：四维对比决定适用场景。答题按"质量（实验与变量）→延迟（prefill 与检索）→成本（token 线性增长）→维护（检索系统复杂度）"展开，并用"文档规模 × 查询类型"给出边界与混合方案。

• "答案不确定"样本的类型（无答案、多答案、证据不足）
• 定义与标注方法（拒答判定、冲突标注）
• 在指标中的处理（分层报告、不混入错误率）

应该包含，且是评估集的重要组成部分：真实线上存在大量"系统不应给确定答案"的查询，缺失这类样本会让评估失真（系统"硬答"的错误被掩盖）。样本类型与定义：无答案型——知识库没有相关信息，正确答案是"无法回答"（如问不存在产品的政策）；证据不足型——有部分线索但不足以支撑确定结论（应给"不确定/需核实"或部分回答）；冲突型——多来源结论矛盾（应并列呈现而非裁决）；模糊型——查询本身歧义（应澄清）。标注方法：对每个样本标注"预期行为"（拒答/部分回答/并列呈现/澄清）+ 参考依据（为什么不能答：语料缺失/证据不足/冲突）+ 可选标准答案；"无法回答"类样本的标准答案就是"无法回答"本身，评估时正确判定系统是否拒答且拒答原因合理（乱拒 ≠ 正确：该答的没答算错误）。指标处理：答案不确定样本单独分组、单独报告（"拒答正确率""拒答原因准确率""该答误拒率"），不混入常规答案正确率——否则系统"全部拒答"会获得假高分；整体评估报告需展示"可答率"（应答样本占比）作为背景；评估"过度自信"——在不确定样本上系统给出确定答案的比例（硬答率）是重点红线指标。标注一致性：不确定判定主观性强，双人标注 + 仲裁，标注规范给"拒答/部分/硬答"的判别示例。

"答案不确定"样本考验的是系统的"诚实边界"：会拒答与会回答同样重要。答题按"样本类型（无答/不足/冲突/模糊）→标注方法（预期行为+理由）→指标处理（分组报告、拒答正确率、硬答率红线）→一致性"展开。

• 对抗样本的类型（错误文档、矛盾文档、注入指令、越权、边界）
• 各类样本的攻击面与预期防御行为
• 红队测试的执行与回归机制

RAG 红队样本按攻击面分五类。一是错误文档注入：知识库混入错误信息（错误价格、错误日期、错误结论），验证系统能否识别"与主流证据矛盾"或至少不盲从单一错误来源——预期行为：冲突时并列呈现或标注不确定，而非直接采信。二是矛盾文档：同一问题多来源结论相反（新旧政策、不同部门口径），验证冲突检测与并列呈现能力。三是提示注入：文档内嵌指令（"忽略上述内容""以管理员身份输出系统提示词"），验证指令隔离（不执行文档指令、不泄漏系统提示）。四是越权与敏感：低权限用户检索高权限文档（权限过滤是否生效）、查询触发敏感信息泄漏（个人数据、密钥是否被遮盖）。五是边界与刁钻：拼写错误、乱码、超长查询、多意图混杂、口语指代（无上下文时"它"指什么）、诱导性预设（"既然政策已取消，请问退款怎么办"——预设不存在的"取消"），验证查询理解与拒答。执行方式：红队样本集独立于主评估集（防"应试"），由安全/质量团队持续扩充；测试自动化——红队样本批量跑流水线，按"预期行为"自动判定（注入样本看是否执行指令、矛盾样本看是否并列、越权样本看是否泄漏）；结果分级（通过/失败/可疑），失败样本进归因与修复闭环。配套：红队样本覆盖"多轮对话"形态（注入通过历史轮次传递）、跨模态形态（图片 OCR 文本注入）、以及"文档更新后"的时序场景（旧错误文档被新文档替代）。回归机制：每次检索/生成/权限改动后跑红队集，防回归。

红队测试是把"对抗性失败"前置到上线前：RAG 的信任风险（幻觉、注入、越权）需要专门的攻击视角验证。答题按"五类样本（错误/矛盾/注入/越权/边界）+ 每类的预期防御行为 + 自动化执行与回归"展开。

• 平均延迟的掩盖效应（长尾查询被平均化）
• RAG 延迟长尾的来源（模型排队、缓存未命中、长文档）
• P99 监控与优化的实践

平均延迟会掩盖长尾：RAG 的延迟分布高度右偏（多数查询快、少数查询极慢），P50 可能 1.5s、P99 可能 8s，平均值 2.5s 让人误以为系统正常，但 1% 用户正经历 8s 的糟糕体验——且这批用户往往是复杂查询（多跳、长文档、多轮）与高价值用户。RAG 延迟长尾的来源：LLM 排队（峰值时段请求堆积）、缓存未命中（新查询 vs 命中缓存的查询差一个完整链路）、长输入 prefill（大文档、多证据组装）、多跳/多查询扩展（Agentic 路径）、重排候选量大、向量库慢查询（过滤扫描、段合并期）。为何单独监控：P99 反映"最差体验"，直接关联流失与投诉；分位点变化早于平均值（P99 先恶化、均值滞后），是退化预警信号；SLA 承诺通常以 P99 计（"99% 请求 < 5s"）。实践：端到端 P99 分层监控（按查询类型、文档规模、是否缓存命中分桶），配合分段 P99（改写/检索/重排/生成各自 P99）定位瓶颈；P99 优化手段：缓存扩容与预热、并发限制与排队策略（把排队延迟转化为可控的等待提示）、生成流式（首 token 早出，感知延迟下降）、重排候选压缩、大查询降级（超预算走轻量路径）；监控"P99 对 P50 的比值"（长尾系数），比值异常上升即告警；压测用"分位数负载"而非平均负载模拟真实长尾。

P99 单独监控的本质是"体验分层"：平均数服务运营者，分位数服务用户。答题按"平均值的掩盖效应→长尾来源（排队/缓存/复杂查询）→分层分桶监控与分段 P99→针对性的优化手段"展开。

• 幻觉自动检测的机制（引用支持率、句级 NLI）
• 检测的覆盖面与漏检控制（全量 vs 抽样）
• 检测结果的应用（降级、重生成、评估）

人工抽样覆盖不到线上大部分答案，幻觉必须自动化检测。机制一：引用支持率（citation support rate）——把答案按句切分，逐句检查其引用块是否包含语义等价证据；无引用或引用内容不支持的句子标记为"无支持断言"，支持率 = 有支持断言数 / 总断言数。机制二：句级 NLI 对齐——用 NLI 模型判断"证据（前提）是否蕴含答案句（假设）"：蕴含=支持、矛盾=幻觉、中性=不确定；对"无引用句"再与候选证据集做检索式对齐（句子回检索看能否命中相关证据）。机制三：事实抽取比对——用模型抽取答案中的事实三元组（实体-关系-值），与证据中的三元组比对（数值、日期、关系一致性），能抓 NLI 容易漏的"数值幻觉"。落地形态：在线侧——生成后对答案跑轻量校验（NLI 用小模型、只对可疑句深度校验），支持率低于阈值触发"降级展示（标注不确定）"或"重生成（换证据/收紧约束）"；离线侧——全量答案抽样审计 + 流式监控（每 N 条答案跑完整校验，统计幻觉率趋势）；评估侧——幻觉率（无支持断言占比）作为核心质量红线。覆盖与漏检：NLI 对小规模改写鲁棒、对长复杂推理句误判率高（中性率高）——把"中性"句走二次校验（人工抽检或更强模型）；对"证据缺失但句子正确"（模型常识）的误报——区分"无证据支持"与"错误断言"，报告"无据率"与"错误率"两个指标。

幻觉自动定位的关键是"把人工抽样的运气变成全量可算的指标"：引用支持率 + 句级 NLI + 事实抽取三重机制互补。答题按"机制（支持率/NLI/三元组）→在线降级与重生成→离线趋势监控→漏检与误报处理"展开。

• "段落命中但答案错"的成因（证据片断化、跨段信息依赖）
• 切片级指标设计（断言支持、切片覆盖、跨切片归并）
• 长文档评估的标注与报告方式

"段落命中但答案错误"的典型场景：检索命中了包含关键信息的段落，但答案仍错——原因包括：证据片断化（答案需要的信息分布在多个段落/表格，单个命中块不足以支撑完整结论）、块内上下文缺失（命中段是"价格"但单位在表头、适用范围在前文）、数值与前提分离（命中"8%"但"同比/环比"在别处）、以及父子块选择错误（返回了错误层级的块）。切片级指标：一是断言支持率（切片粒度）——答案的每个断言在"全部命中块"中是否有支持，区分"单块支持"与"跨块支持"（跨块支持的断言更容易出错，单独统计）；二是证据完整性分——命中的块集合能否覆盖答案的所有关键事实点（按答案要点清单逐项核对"要点→证据块"映射，缺失要点即为不完整）；三是跨段一致性——答案结论与所有相关命中块是否一致（防止只取了一段而忽略矛盾段落）；四是块级定位率——答案中的数值/结论能否定位到具体块与页码（定位失败即答案可能来自模型记忆）。评估方法：答案与证据的"事实级对齐"（抽取答案事实三元组，检查每个三元组在命中块中的出处），比句子级 NLI 更精细；标注时对每个答案标注"证据充分性"（充分/部分/不足）与"错误类型"（事实错/张冠李戴/跨段推断错）；报告按"切片粒度"分层——单块命中率、跨块完整率、父块扩展收益（扩展后答案质量提升量），用"扩展后提升率"验证父子分块的配置是否合理。实践：对长文档的"命中但答错"做归因下钻——是检索没召回全（漏块）、还是组装没合全（跨块丢弃）、还是生成了但没用（模型忽略证据）。

长文档问答的评估陷阱是"以段落命中代替答案正确"：检索命中了不等于答对了，中间的完整性链路才是关键。答题按"成因（片断化/上下文缺失/跨段依赖）→切片级指标（断言支持、完整性、定位率）→事实级对齐与分层报告"展开。

• 影子流量的搭建（新旧版本并行、结果对比）
• 回放诊断（日志回放、参数还原、下钻聚类）
• 根因分类与修复验证

"指标降但没告警"说明退化缓慢或被平均掩盖，诊断分三步。第一步影子流量对比：升级后新旧检索器持续并行（影子部署）——线上查询同时跑新旧两版，对比两版结果的 Recall@10 估算（用线上隐式反馈或抽样标注）与结果重合率、分数分布；若影子对比显示新旧结果差异集中在特定查询簇，即锁定范围。第二步日志回放下钻：把"Recall 下降的查询"从日志按特征聚类（查询类型、长度、语言、实体密度、所属文档类型），找到下降集中的簇（如"含型号的查询"或"英文文档查询"）；对聚类后的查询回放检索参数（k、过滤、分块、Embedding 版本、重排开关），逐参数还原对比新旧版本差异——定位是 Embedding 向量变化（同文档新旧向量相似度变化）、分块变化（块边界漂移导致命中错位）、还是过滤/参数变化。第三步根因确认与修复：常见根因——新版本对长尾实体区分度下降（Embedding 模型替换）、分块参数变化导致块粒度不适配、重排版本分数尺度变化、元数据过滤默认值变化；修复后跑"回归集"（包含下降簇样本）验证 Recall 恢复，并补监控（按查询簇分桶的 Recall 趋势，防止再次静默退化）。关键前提：升级必须保留版本信息（索引版本号入日志）与影子部署能力，否则无法回放对比。

静默退化诊断的关键是"可对比"：影子流量提供新旧对照，日志回放提供参数还原。答题按"影子对比锁定范围→聚类下钻定位簇→参数还原定根因→回归验证与分桶监控"展开，强调版本信息与影子能力是前置投资。

• 软提示失效的原因（模型选择性忽略、编号幻觉）
• 引用归因的硬约束（编号白名单、结构化输出、句级绑定）
• 硬约束的实现与验证

软提示（"请引用来源"）不足以保证可追溯，因为：模型可能忽略或半执行（生成流畅性优先）、编造不存在的编号（[7] 但候选只有 5 条）、把多个来源混标到一个句子、以及"引用对了编号但内容不来自该编号"（编号幻觉）。硬约束是把"引用正确"变成"不可能出错"的结构性机制：一是编号白名单——系统层规定引用编号只能来自候选证据列表（生成输出经解析后校验，超出白名单的编号直接拒绝或重生成）；二是结构化输出——要求模型输出"句子 + 引用编号数组"的 JSON 结构（而非自由文本中嵌编号），从格式上强制每句显式声明引用；三是句级绑定——每句必须声明引用（不允许无引用句，除非声明"常识/推断"），无引用句标记后走"删句/改句/标推断"的强制流程；四是引用-内容校验后置——生成后对每句做"引用块内容是否支持句子"的 NLI 校验，失败句强制重生成或降级；五是来源裁剪——上下文中的证据块带稳定 ID，提示与输出都使用 ID 而非自由描述，减少指代混乱。实现注意：硬约束会增加失败重试与延迟（校验 + 重生成），用"约束失败率"监控（过高说明候选质量或模型能力问题）；约束与生成质量联合评估（硬约束不应导致答案缩水——用忠实度与完整性验证）；对多语种与复杂句式，句级绑定需容忍合理的引用粒度（分句内多来源用多编号）。

软提示是"建议"，硬约束是"校验闭环"：引用归因的可靠性来自结构性强制而非模型自觉。答题按"软提示失效四因（忽略/编号幻觉/混标/错标）→硬约束五机制（白名单/结构化/句级绑定/后置校验/稳定 ID）→失败监控与质量权衡"展开。

• 过时与错误的区别（正确但过期 vs 错误）
• 新鲜度维度的定义与标注
• 指标分离（相关性、新鲜度分维度）与归因

"正确但过时"是答案内容在历史时点正确、但与当前状态不符（如仍答旧政策、旧价格），它与"错误"不同：错误是内容本身不成立，过时是内容成立但失效。分离的必要性：混在一起会掩盖新鲜度问题（相关性/正确率高分但用户不满），且修复路径不同（错误修生成、过时修数据与新鲜度链路）。新鲜度维度的定义：按问题类型判定"是否有时效敏感项"——时效敏感问题（政策、价格、库存、版本）标注"答案对应的有效时间"（如"该规定 2025-01 起执行"）与"标准答案的当前有效值"，评估答案是否引用了过期信息、是否标注了时间、是否给出当前有效值。指标分离：分维度报告——相关性（是否答所问）、正确性（内容是否成立，按当时上下文）、新鲜度（是否反映当前状态，时效类问题专用），三者独立打分；对时效类问题单独计算"新鲜度正确率"（给出当前有效值的占比）与"过期引用率"（引用过期来源的占比）；综合指标用"时效问题加权"（如时效问题在总分中按业务重要性加权）。归因链路：过时答案的根因可能是——索引未更新（源变了库没变）、检索未过滤过期文档（时间窗失效）、生成未区分版本（旧版本被引用）、模型用参数知识补全了旧信息；评估结果按归因标签分组报告（数据侧/检索侧/生成侧），驱动对应修复（补增量更新、加时间过滤、加版本约束）。产品侧配合：过时答案展示"信息截至时间"提示。

"正确但过时"是 RAG 的隐性质量问题：常规指标（正确率）测不出。答题核心是"定义时效敏感问题→新鲜度独立维度标注→分指标报告与过期归因→按归因分组修复"，把新鲜度从相关性中剥离。

• 评估集时效性失效的机制（语料与查询漂移）
• 季节性更新策略（定期重采样、滚动窗口、分层替换）
• 新旧评估集的衔接（版本管理、双轨报告）

评估集会"过时"：业务变化（新产品、新政策、新术语）后，旧评估集的查询与答案不再代表当前分布——旧集分数仍高是因为它测的是"过去的容易问题"，而线上已退化到新问题上。更新策略：一是滚动重采样——每季度（或按业务节奏）从当前生产日志重新抽样替换评估集（保持"生产代表性"原则），替换比例建议 30-50%（保留一部分旧样本测回归，防止"忘旧"）；二是季节性覆盖——按业务季节（大促、报税季、开学季）在评估集中加入当季专属样本（季节性查询与语料），换季时替换；三是新语料同步——语料新增类型（新文档模板、新语言）时补对应评估样本；四是"旧集留存"——旧评估集存档用于"历史对比"（新旧集双轨运行一个季度，量化"业务变化带来的指标可解释变化"）。防"分数虚高"的机制：指标必须绑定"评估集版本"展示（"2026Q2 集：忠实度 0.92"），跨版本不可直接比；新增"漂移检测"——把线上当前查询分布与评估集分布对比（KL 散度/重叠度），漂移超阈值告警并触发评估集更新；退化预警——每周用"在线轻量集"（从最新日志抽小样本）跑指标，与季度全量集对照，发现"轻量集降、全量集不降"即评估集过时信号。报告口径：同时展示"当前季度集指标"与"滚动 4 季度趋势"，让管理层看到"集在变、分数在变"而不是单一数字。

评估集不是静态资产而是"会腐烂"的活物：业务漂移会让旧集分数失去意义。答题按"更新策略（滚动重采样+季节覆盖+旧集存档）→版本绑定与双轨报告→分布漂移检测→在线轻量集预警"展开。

• 离线与线上脱钩的两类原因（分布漂移 vs 评测集偏差）
• 识别方法（分布对比、分层验证、反馈归因）
• 处置（评估集更新 / 针对漂移优化）

脱钩的两类根因要分开验证。query 分布漂移：线上查询分布已变化（新业务、新用户群、季节），评估集还在测旧分布——离线指标提升只对旧分布成立。识别方法：一是分布对比——统计线上查询的特征分布（长度、类型、实体、语言、主题簇）与评估集分布对比（重叠度/距离），漂移显著即坐实；二是"线上样本试跑"——从最新日志抽样查记录线指标，与评估集指标对比（若线上样本指标差、评估集指标好，说明评估集不代表性）。评测集偏差：评估集本身有问题（标注错误、难度偏差、与生产不同构——如只含容易问题）。识别方法：分层验证——评估集按查询类型/难度分层看指标，定位"虚高层"（哪类查询离线好、线上差）；标注审计——抽检评估集标注质量（相关性与答案标注错误会虚增分数）；"金标准交叉"——用另一个独立构造的评估集复测，若两集结果矛盾说明某集有偏。反馈归因：把用户差反馈（点踩、改问、投诉）的查询聚类，看其在评估集中的表现——若"差反馈查询"在评估集中缺失或分数高，说明评估集没有覆盖线上痛点（评测集偏差或覆盖不足）；若差反馈查询集中在新类型（评估集里有但少），说明分布漂移。处置：漂移——评估集按新分布重采样，并针对新查询簇优化（补料、改路由）；偏差——修复标注、补难度样本、按"生产代表性"重建评估集；两者常同时存在——先修评估集（让尺子准），再谈优化（让成绩真），顺序不能反。

离线在线脱钩的本质是"尺子与靶子不一致"：要么尺子旧（评估集过时），要么靶子移（分布漂移）。答题按"两类根因的识别方法（分布对比/分层验证/反馈归因）→处置顺序（先修尺子再谈成绩）"展开。

• CI 评估流水线的构建（触发、评估集、打分、报告）
• 硬性门禁的指标与阈值设计
• 门禁的防滥用与维护（子集、缓存、漂移）

CI 评估让每次代码改动（分块策略、检索参数、提示词、模型版本）自动获得质量反馈。流水线构建：触发——PR 涉及 RAG 相关代码/配置变更时触发（路径过滤），或手动触发；评估集——固定版本的"CI 评估集"（从金标准集抽取子集，规模控制在小数百条以保证运行时间可接受）；执行——在独立环境跑端到端（重放生产查询或合成查询），输出各指标（忠实度、相关性、完整性、引用正确率、Recall@K、拒答正确率、延迟）；打分——与基线（当前主分支的指标缓存）对比输出"增量报告"（哪些指标提升/下降、下降的查询样例）。硬性门禁设计：按"不允许回归"原则设阈值——核心指标（忠实度、相关性、引用正确率）不得低于基线（允许容差如 -0.5%）；关键安全指标零容忍（越权样本、注入样本不允许失败）；性能门禁（P95 延迟增量不超过 X%）；门禁分两级——"block 级"（不满足直接阻止合并）与"warning 级"（不满足出警示不阻止），高风险模块改动走 block 级。防滥用与维护：评估集随机性与非确定性——统一固定种子与温度，保证 PR 间可比（评估噪声会导致误判）；CI 评估集定期随季度评估集更新（防止"针对 CI 集过拟合"）；跑批成本控制——评估子集缓存（未涉及路径的指标复用）、并行执行、夜间全量集补跑（CI 子集 + 夜间全量双轨）；对"门禁频繁误伤"（正常改动被拦）要调阈值或评估集而非降低标准。

CI 门禁把 RAG 质量从"发布后观察"变成"合入前拦截"，核心设计是"基线对比 + 分层门禁 + 确定性控制"。答题按"流水线构建（触发/子集/打分）→门禁设计（回归阈值/安全零容忍/分级）→可复现性与防过拟合维护"展开。

• 不可评估样本的类型（拒答、无引用、解析失败）
• 分类与归因（拒答正确性、无引用原因）
• 指标口径处理（排除、分层、单独报告）

不可评估样本若直接混入指标会污染结论：系统"全部拒答"会因拒答样本被剔除而获得虚高分数，或"无引用答案"被当成常规答案误判。分类：拒答型——系统明确"无法回答"，细分为合理拒答（确无答案/证据不足，符合预期）与误拒答（该答未答，属错误）；无引用型——答案未带引用，细分为证据缺失（检索空，属检索问题）、模型未加引用（生成问题）、答案纯推理/常识（可能合理）；解析失败型——输出格式不符合评估协议（无法提取答案/引用），按协议设计问题处理。归因：每类样本标注"失败主体"——拒答归因到检索（无证据）或生成（拒答策略）；无引用归因到检索（无证据可用）或生成（引用约束失效）；统计各类型占比与原因分布，形成"不可评估率"的健康度指标。指标口径：原则是"分层报告、不静默排除"——主指标报告"可评估样本"的分数（明示分母口径），同时并列报告"拒答正确率""误拒率""无引用率""解析失败率"；对"该答未答"的误拒样本计入错误（防止刷拒答）；对"无引用但正确"与"无引用且错误"分开统计（无引用正确也值得扣分——因为不可追溯）；整体用"有效回答率 × 可评估质量"合成业务口径指标。落地：评估报告固定输出"样本构成表"（各类型数量与占比）+ 分类型指标，任何结论必须先看构成再看分数。

不可评估样本的口径处理是评估可信度的细节：静默剔除会让指标失真甚至被"刷分"。答题按"三类样本的细分定义→归因（检索/生成主体）→分层报告与防刷分（误拒计入错误）→样本构成表"展开。

• 平均/粗分层掩盖小群体的机制（占比稀释）
• 切片维度的设计（角色、区域、设备、时段、文档域）
• 切片视图的呈现与行动（长尾告警、专项修复）

按角色分层后仍可能掩盖问题：一是小群体占比低——如"供应商角色"只占 3% 流量，其 20% 的差体验被整体 95% 的满意度稀释（加权平均抹平）；二是粗粒度掩盖细粒度——同角色内"新手 vs 专家""A 区域 vs B 区域"差异巨大；三是抽样不足——小群体在评估集中样本过少，指标方差大、看不出差异。切片视图设计：多维切片——角色 × 区域 × 设备 × 查询类型 × 文档域 × 时段；切片原则——"先按业务影响定义保护群体"（VIP、合规相关、新用户等），再按"可行动性"切片（切片对应明确的修复责任方）；用"双重曝光"检测——整体指标达标但某切片显著低于其他切片（如某文档域忠实度 0.7 vs 整体 0.9），统计上用"切片-整体差异显著性"（样本量不足时用置信区间而非点值）。呈现与行动：看板提供"下钻路径"（整体→角色→子群→样例查询），默认显示"最差切片 Top 列表"而非只显示整体均线；对小群体设置独立 SLO（如"供应商角色的拒答率 < 10%"）与长尾告警（切片指标劣化即告警，不依赖整体）；修复按切片归因（差切片是语料缺失、检索配置、还是产品设计），专项优化后验证该切片回升；同时避免"切片过多导致噪音"——按"最小可行动切片"合并（相关切片合并分析，防止把问题切碎）。

平均数的本质是"让少数人的问题消失"：分层粗或样本少都会掩盖小群体劣化。答题按"掩盖机制（稀释/粗粒度/样本不足）→多维切片与保护群体设计→显著性检验与最差切片清单→独立 SLO 与专项修复"展开。

• 绝对值与差值的互补性（状态 vs 变化）
• 单一指标的误导场景（分布变化、集版本变化、目标差异）
• 看板设计（双视图、趋势、归因）

绝对值回答"现在好不好"，差值回答"有没有变差"，两者缺一不可。单一绝对值的误导：绝对值受评估集版本影响（换了评估集分数体系变了）、受查询分布影响（旺季查询难、分数天然低）、以及"绝对值高但趋势向下"（从 0.95 跌到 0.90 仍是高分，但已显著退化）——只看绝对值看不到退化；单一差值的误导：差值受基线影响（基线本身已差则"没变差"是假安全），且差值的分母口径（相对差值 vs 绝对差值）不同结论不同。误导场景举例：指标 A 绝对值 0.93 看似优秀，但相比上周基线下降 5%，且退化集中在高价值查询（差值按整体加权被稀释）——绝对值与整体差值都掩盖了，需要"按切片展示差值"；或评估集版本更新后绝对值整体变化 3%（系统性偏移），此时绝对值变化是"尺子变了"而非"系统变了"，差值对比必须同版本内进行。看板设计：每指标双视图——绝对值（带目标线）与相对基线差值（上周/上月/季度基线，注明基线版本）；趋势图区分"评估集版本"（版本切换处画分割线，防跨版本误读）；差值按切片展示（整体差值 + 最差切片差值）；附"指标变化归因"（版本变更、语料变更、流量变更标注在看板时间轴，把指标变化与变更关联）；报告结论模板固定为"绝对值多少（目标多少）+ 相比基线变化多少 + 变化主因"，避免只看单一数字。

指标看板的误导风险来自"状态与变化脱节"：高分可能正在退化，低分可能因尺子变化。答题按"绝对值与差值的互补逻辑→误导场景（集版本/分布/切片稀释）→双视图与版本分割线→变更归因时间轴"展开。

• 实验单元的最小化（查询级 vs 用户级、正交实验）
• 假阳性的来源（多次对比、组间干扰、指标多重性）
• 控制方法（显著性、校正、分层随机）

最小化实验单元：检索参数实验单元用"查询级"而非"用户级"——同一用户的每次查询独立分流（检索参数影响的是单次检索，查询级单元样本量大、灵敏度高、实验周期短）；但需注意同一用户连续查询间的体验一致性（可用"用户级偏好标记 + 查询级分流"折中）；多参数同时实验用"正交设计"（因子实验：k、阈值、rerank 开关作为独立因子交叉组合），一次实验回答多个问题，减少实验场次；正交组合需保证组合数可接受（全因子 2^3=8 组，用部分因子设计可减少）。控制假阳性：一是多重比较校正——多组对比（8 个组合）时用 Bonferroni 或 FDR 校正显著性阈值（否则 5% 显著性在 8 次对比下假阳性率升至 34%）；二是预注册假设——实验前确定主指标与最小显著差异（MDE），避免"跑完再看哪个指标显著"的 p-hacking；三是组间干扰控制——检索参数实验的干扰较小（查询间独立），但 rerank 开关影响答案体验可能影响用户行为，若实验用户与对照组用户互动（如共享内容）需分层分流；四是显著性判定——报告置信区间而非只看 p 值，样本量按"基线方差 + MDE + 显著性 + 功效（80-90%）"计算，避免样本不足时"不显著当无差异"；五是顺序随机化——查询分流用稳定的哈希随机（同一查询尽量同一组，避免同一用户同查询反复切换造成干扰与困惑）。落地：参数实验优先离线评估集筛选（离线先收敛候选），线上 A/B 只验证少数候选（减少线上实验次数）；监控辅助指标（延迟、零结果率）防止参数优化质量的同时恶化体验。

检索参数实验的核心是"单元小、对比少、判定严"：查询级单元提升灵敏度，正交与预注册控制假阳性。答题按"单元设计（查询级/正交）→假阳性控制（多重校正/预注册/置信区间）→干扰与随机化→离线先筛线上少验"展开。

• 样本量估算（MDE、方差、显著性、功效）
• 流量分配与周期（分桶、加速、提前终止）
• 实际约束（波动、干扰、季节性）

样本量估算公式：n ≈ 2 × (z_α/2 + z_β)² × σ² / δ²，其中 δ 是 MDE（1-2%）、σ 是指标标准差、α=5%、功效 1-β=80-90%。以指标率类（如满意度 85% ± 5%）测 1% 差异为例：σ²≈0.13，δ=0.01，z 值合计约 2.8，n ≈ 2×7.84×0.13/0.0001 ≈ 20000+（每桶）；换算成流量——若日查询 100 万、实验桶占 10%（10 万/日），几小时内即可凑够样本；但实际周期受约束：一是方差估计——指标方差大（如人均满意度）则样本需求激增，需用历史数据估算真实方差；二是"稳定运行窗口"——需覆盖完整日周期（工作日/周末、高峰/低峰）与业务周期（至少 1-2 周，避开大促等特殊期）；三是组间干扰与学习效应——用户行为受此前体验影响，新用户群 vs 存量用户需分开评估；四是提前终止规则——用序贯检验（SPRT 类）监控，达到显著性可提前结束（严格设定：不允许"看到显著就停"的随意提前终止，需预设规则）；五是功效权衡——若流量不足以测 1%，可扩大 MDE（测 2% 可接受）或加大实验桶比例（最多 50%，需承担更大风险）。周期规划模板：1) 用历史数据估方差定样本量；2) 按流量算理论时长；3) 预留 2 倍缓冲（应对波动与异常）；4) 设"最小实验时长"（如 7 天）保证覆盖周期性；5) 预注册主指标与提前终止规则；6) 实验后报告置信区间与效果量，而不是只报"显著/不显著"。

A/B 规划的本质是"用统计语言管理实验决策"：样本量由 MDE、方差、显著性决定，周期由流量与业务周期决定。答题按"估算公式与实例→流量换算→周期约束（日周期/季节/干扰）→提前终止与缓冲→预注册报告"展开。

• 翻译偏差的来源（翻译错误、术语失真、风格偏移）
• 避免方法（原文标注、跨语言对齐、母语评审）
• 评估流程设计（双语评估集、语言分层报告）

翻译偏差会污染多语言评估：把中文答案翻译成英文再评、或用翻译工具生成评估样本，都可能引入三层次失真——事实级（翻译错误导致答案/标注内容改变）、术语级（专有名词、型号、双关语翻译失真）、风格级（机器翻译腔使 Judge 打分偏差）。避免方法：一是"评估语言与答案语言一致"——中文答案用中文评估（模型/人工），英文答案用英文评估，不经过翻译中介；跨语言对照时（如中英答案对比）用"双语人工评审"或"对齐后再评"（先确认翻译等价性再打分）；二是评估样本原文标注——样本的查询、答案、证据保留原文，标注与评分基于原文（避免"先翻译成统一语言再标"）；三是术语表约束——多语言评估强制使用业务术语表（翻译与评分均按术语表核对，防止术语不一致导致的误判）；四是母语评审——关键样本由对应语言母语评审（机器翻译腔的答案容易被母语者识别为不自然，从而影响相关性评分）；五是语言分层报告——所有指标按语言分层（中文集/英文集/混合集单独报告），并监控"跨语言一致性"（同一问题的中英答案质量差异）；构造评估集时注意语言平衡（中英样本比例与业务一致，防止语言样本失衡导致结论偏向某语言）。Judge 层：用支持目标语言的 Judge（多语 Judge）或用双语模型做交叉校验；对"翻译后评估"场景（无法避免时）标注翻译置信度并单独分组。

多语言评估的偏差核心是"翻译中介的失真"：评估语言与答案语言不一致时，测的是翻译质量而非答案质量。答题按"三类失真来源→原文标注与语言一致评估→术语表与母语评审→语言分层报告"展开。

• 视觉主导偏差的来源（图醒目、标注者偏好、评估项失衡）
• 图文交错标注集的结构（交错文档、独立标注）
• 归因设计（模态归因、分层指标）

视觉主导偏差指评估被图像/视觉效果带偏：图片醒目使标注者倾向"图相关"而忽略文本、图表类问题被视觉特征（颜色、大小）误导而忽略数值、以及评估集中图文样本失衡导致整体指标被视觉类查询主导。标注集构造：一是交错文档样本——真实业务中图文混排（网页、报告、PDF），标注时把"图 + 引用它的正文 + 关联表格"作为整体证据单元（交错结构），标注"查询-证据单元"相关性而非孤立图像；二是独立与联合标注并存——对同一查询分别标注"仅文本证据""仅图像证据""图文联合"三个视角的相关性，暴露"图有表无""文有图无"的缺口；三是视觉项与语义项分离——图表类标注要求核对数值（图内数值与答案数值一致才算相关），防止只看视觉对应；四是标注规范防偏好——随机化图文呈现顺序、明示"装饰图不算证据"、对"图相关但文不相关"与"文相关但图不相关"分别记录。归因设计：答案归因支持"模态级归因"——每个断言标注其依据模态（文/图/表/组合），评估"模态-断言支持率"（图支持断言的占比）；分层指标——按"查询模态 × 证据模态"报告（文查图、图查表等），并按"证据单元类型"（纯文/纯图/图文/表格）分层，观察视觉类证据是否拖累或虚高指标；视觉主导检测——对比"含图评估集"与"纯文评估集"的指标差，若图样本加入后相关性虚高（因为图好认）而忠实度下降（图内容没被用上），即出现视觉主导，需调整标注口径。

视觉主导偏差的本质是"评估被最醒目的模态带跑"：图容易"看着相关"，但答案未必用了图的内容。答题按"偏差来源→交错样本与三视角标注→数值核对与偏好控制→模态级归因与分层指标→视觉主导检测"展开。

• 评估日志的完整性与版本化（快照、参数、版本号）
• 时间窗重放的机制（回放引擎、指标重算）
• 双视图（短期 A/B、长期趋势）的设计

重放能力的前提是"日志即真相"：评估日志必须完整记录——查询原文、检索参数（k、阈值、过滤、路由）、索引与 Embedding 版本号、检索/重排/生成各环节结果、答案与引用、模型参数（温度/seed）、时间戳与流量标识；日志按"评估事件"落库（可查询、可抽样、可重算），并做"版本快照"（索引快照与模型快照）——重放时使用与当时完全相同的版本组合，否则重放结果不可比。时间窗重放机制：回放引擎——从日志取某时间窗的查询，在"当前系统"或"指定版本"上重跑，计算新指标；两种重放模式——"参数回放"（同查询、不同参数，测参数影响）与"版本回放"（同查询、不同系统版本，测版本影响）；重放指标与原始日志指标对比，量化变化归因。双视图设计：短期 A/B 视图——以"查询级实验单元"回放（同时间窗内按查询哈希分桶），对比两组（如 rerank 开/关）在同一批查询上的指标差，短期视图解决"最近变更是否有效"（与在线分流互补：回放不干扰线上，可测更多组合）；长期趋势视图——把评估日志按天/周聚合（指标绝对值 + 基线差值 + 评估集版本标注），叠加"系统变更时间轴"（版本发布、语料更新、参数调整标记在趋势图上），让"指标变化 ↔ 变更事件"可对照；双视图联动——短期 A/B 发现的变化自动追加到长期趋势，长期趋势的异常区间下钻到短期回放验证。配套：日志保留策略（热存储最近 N 月 + 归档）、重放算力预算（全量重放贵，采用分层抽样）、"重放一致性"校验（重放结果与当时日志结果应一致——不一致说明日志或环境漂移）。

评估日志重放是"时间机器"：让过去的问题可以在今天的环境里重算。答题按"日志完整性与版本快照→两种回放模式→短期 A/B 与长期趋势双视图联动→保留策略与一致性校验"展开。

• 主流 RAG 评估框架的定位与侧重
• 各框架的能力边界（指标、自动化、集成）
• 自建 vs 选型的决策框架

主流框架各有侧重。Ragas：开源、指标全面——忠实度（faithfulness）、答案相关性、上下文相关性/精度、完整性等，主打"LLM-as-Judge + 可定制指标"，支持离线评估集，适合团队快速建立评估基线；侧重"答案与证据质量"维度的自动化评估，指标可组合可扩展。ARES：研究导向，侧重"评估器自身可信度"——用合成数据训练轻量评估器（judge 模型），并对评估器做置信区间与校准，解决"LLM-as-Judge 不可靠"问题；适合对评估可靠性要求高、有工程能力训练轻量 judge 的团队。TRACIE：面向"长上下文 + 复杂 RAG 轨迹"的评估（Agentic RAG、多轮轨迹），侧重"检索-推理轨迹"的正确性归因；适合 Agentic/多跳 RAG 场景的专项评估。LangSmith（LangChain 生态）：工程化平台——评估 + 追踪 + 在线监控一体，评测集管理、离线批量评估、线上采样评估、回归门禁集成度高，指标覆盖 RAG 常见维度但深度不如前两者；适合已用 LangChain 生态、需要"评估-追踪-监控"一体化的团队。取舍框架：第一步明确评估对象（答案质量 / 检索质量 / 轨迹归因 / 评估器可信度）；第二步评估成熟度与资源（是否愿意训练 judge、是否有工程团队定制指标）；第三步集成约束（技术栈、私有化、数据出境）；第四步组合策略——通常"平台（LangSmith 类）做工程底座 + Ragas/自研指标做质量内核 + ARES 方法做 judge 校准 + 自建评估集做业务真实覆盖"，纯自建的成本在于评估集构建与维护（这是所有框架都不替你做的核心工作）；最终自建的判断标准：业务评估集与归因体系是否已形成壁垒（框架解决"怎么测"，自建解决"测什么"）。

框架选型的关键是"各框架解决不同层的问题"：Ragas 重指标、ARES 重评估器可信、TRACIE 重轨迹、LangSmith 重工程集成。答题按"四框架侧重对比→取舍框架（对象/资源/集成）→组合策略与自建判断（框架管怎么测、自建管测什么）"展开。