经典场景：智能客服与知识库问答

• 理解客服系统的分层编排（意图路由→FAQ→RAG→工单/人工）
• 能否设计逐级回退与成本控制
• 能否说明质量与成本的权衡

智能客服系统按"由浅入深、由便宜到昂贵"分层编排：先意图路由（识别用户意图，如查订单、退换货、投诉），再尝试 FAQ 直答（检索 FAQ 库，命中且置信度高则直接返回，成本最低），未命中则升级到 RAG 问答（检索知识库文档生成带引用的回答，成本较高），仍无法解决或用户不满意则转工单或人工接管（成本最高）。编排的关键是"逐级回退 + 置信度阈值"：每层有明确退出条件，FAQ 命中率低、RAG 置信度低时自动升级。质量与成本权衡：FAQ 保成本，RAG 保覆盖面，人工保体验，通过"高价值/高风险问题优先升级、普通问题尽量 FAQ 兜底"来控制成本。

分层编排是客服系统的核心，每层对应不同成本与能力。面试官考察你是否能把"意图路由→FAQ→RAG→人工"组织成一条降级链，并给出每层的置信度触发条件。成本控制的关键是"让便宜层解决大多数问题，昂贵层只处理少数高价值问题"。

• 理解文档摄取（解析、分块、向量化）管道
• 能否设计索引与权限过滤
• 能否设计引用溯源与更新机制

知识库问答系统设计五个环节：文档摄取——解析（PDF/Word/HTML 等）、清洗、分块（按语义/标题切分）、向量化（embedding）并入库；索引——同时建向量索引（语义检索）与关键词/倒排索引（精确检索），可做混合检索；权限过滤——为每个文档标注可见的租户/角色，检索时强制带权限条件，在索引层过滤，防止越权；引用溯源——每个答案断言绑定来源文档、页码、章节，输出时带引用标识，便于用户与后台核查；更新机制——文档变更（新增/修改/下架）触发增量重摄取，版本化管理，索引与缓存同步失效，引用随文档版本更新。关键是"摄取-索引-过滤-溯源-更新"建立闭环，保证数据新鲜与可信。

面试官考察的是完整的数据管道，而非单点。回答强调"权限过滤落在索引层而非生成层"（防越权），"引用溯源"（可信度与核查），"更新一致性"（文档下架后索引、缓存、生成结果同步失效）。三者都是企业知识库的核心诉求。

• 理解有状态业务与对话上下文的结合
• 能否用状态机建模业务流转
• 能否设计槽位填充与状态迁移

有状态业务（订单查询、售后流转）需要把"对话上下文"与"业务状态机"结合。设计上：对话上下文保存用户意图与已填槽位（如订单号、原因），业务状态机维护业务的流转阶段（如售后：待填单→已受理→待审核→已退款）。结合方式：用户的每句话先解析出意图与槽位，填充到上下文；系统根据当前状态机状态触发下一步动作（追问缺失槽位、查询订单、提交审核）。状态机用确定性迁移建模（当前状态 + 事件 → 下一状态 + 动作），避免 AI 自由发挥导致流程失控；AI 负责解析与生成，状态机负责流转与校验，二者职责分离。状态要持久化（Redis），支持超时、取消与人工介入。

关键设计是"AI 与状态机分离"：AI 负责理解与生成，状态机负责确定性流转。这样既保留对话灵活性，又保证业务合规（如退款必须走审批）。面试官考察你是否能区分"语义层（AI）"与"流程层（状态机）"。

• 理解拒答、引导、转人工三种兜底策略
• 能否设计触发条件与置信度阈值
• 能否保护用户体验

"答不上来"要设计三级兜底并给出触发条件：拒答——当检索置信度低且无匹配知识时，明确告知"我暂时无法回答该问题"并说明原因，避免编造；引导提问——当意图模糊或缺少关键信息时，主动追问澄清（如"请提供订单号"），或推荐相关 FAQs；转人工——当用户情绪激动、涉及投诉/退款/法律、多次拒答或检索多次失败时，自动转人工客服并携带上下文。触发条件用置信度阈值与业务规则组合（如检索得分 < 0.5 拒答、意图置信度 < 0.6 追问、投诉类关键词触发转人工）。体验上：拒答要诚实、引导要具体、转人工要无缝衔接（把对话上下文传给人工，避免用户重复）。

面试官关注"什么时候不答、怎么不答"，因为编造答案比拒答更伤用户。设计核心是"置信度阈值 + 业务规则"决定拒答/引导/转人工，且转人工要保留上下文。诚实拒答、主动引导、顺畅转人工是保护体验的三板斧。

• 理解答案断言与来源的绑定机制
• 能否设计引用失效与过时的检测
• 能否保障可信度

引用与可信度设计：生成答案时，让模型对每个断言（claim）标注引用来源（文档 ID、页码、章节），输出结构化引用（如答案附带 [1][2] 标注）；检索时记录每个 chunk 的来源，生成时把"断言→来源"的映射返回，前端展示引用。引用失效与过时检测：后台维护文档版本，当文档更新/下架时，将其引用的缓存答案标记为失效，触发重新生成或提示"该答案基于旧版本"；对长驻答案做定期重检（对比新文档与引用内容是否一致）。可信度还可用"引用覆盖度"（多少断言有引用）与"引用正确率"（引用是否真的支持断言）作为评测指标。

引用可信度是 RAG 可靠性的核心。面试官关注"断言级引用"（而非整段引用）和"失效检测"（文档变更后答案要同步）。回答强调引用覆盖度与引用正确率两个评测指标，体现对可信度的量化。

• 理解客服系统的核心业务指标
• 能否设计指标之间的联动关系
• 能否用指标驱动优化

客服系统评估需联动监控四类指标：一次性解决率（FCR，用户首轮即解决的比例，质量核心）、转人工率（AI 未解决转人工的比例，反映 AI 覆盖能力）、用户满意度（CSAT，回复后用户打分，反映体验）、单会话成本（Token 消耗 + 人工成本，反映成本效率）。四者联动分析：FCR 低 + 转人工率高 → 知识库覆盖不足或检索质量差，需补知识库、优化检索；满意度低但 FCR 高 → 回复质量差（答非所问），需优化生成；单会话成本高但 FCR 不升 → 过多走 RAG/人工，需增加 FAQ 兜底或模型路由。指标要按租户、渠道、问题类型分桶，形成"质量-体验-成本"三角联动，驱动持续优化。

面试官考察"指标联动"而非孤立指标。四者构成三角：FCR/CSAT 是质量与体验，转人工率是覆盖面，成本是效率。回答重点是"指标异常 → 归因 → 优化动作"的闭环，体现用数据驱动。

• 理解文档变更对索引/缓存/生成结果的影响
• 能否设计同步失效机制
• 能否处理权限变更的缓存隔离

文档更新一致性需要多级同步失效：文档更新——增量重摄取，重新分块向量化，更新索引，并把依赖该文档的缓存答案标记失效；文档下架——从索引删除对应 chunk，清理相关缓存，后续检索不再命中；权限变更——文档可见范围变化时，更新索引的权限标注，并逐租户清理受影响的缓存（避免旧权限缓存泄漏）。同步失效机制：维护"文档版本 → 索引/缓存/答案"的依赖关系，用 CQRS 或事件驱动（文档变更事件 → 触发索引重建 + 缓存失效 + 答案重检）。失效要支持灰度与回滚，避免一次大变更导致系统波动。

核心是"版本化 + 依赖追踪 + 事件驱动失效"。面试官关注"权限变更后缓存如何不泄漏"，这要求缓存 key 带权限维度且权限变更时主动清理。回答强调"文档-索引-缓存"的依赖关系与事件驱动的失效闭环。

• 理解冷启动下知识库与评估集的构建方法
• 能否设计人工种子与合成数据
• 能否设计 bad case 回流闭环

冷启动没有历史数据时，知识库建设靠人工种子：从现有 FAQ、产品文档、SOP、客服话术整理成初始知识集，结构化为问答对与文档；评估集建设靠人工构造：基于真实业务场景写典型问题（覆盖高频意图、边界、歧义），标注标准答案，形成最小评估集。上线后靠 bad case 回流迭代：线上失败案例（用户投诉、转人工、低评分、拒答）自动/半自动回流，人工标注正确意图与答案，归入评估集与知识库，形成"线上样本→人工标注→评估集扩充→知识库补充→重新评测→上线"的闭环。回流的同时要区分"知识缺失"（补知识库）与"检索/生成问题"（优化检索与 Prompt）。

冷启动的关键是"用人工种子打破零数据"，线上靠"bad case 回流"持续迭代。面试官关注回流闭环是否完整，以及是否区分"知识缺失"与"检索/生成问题"两个归因方向。cold start 的坑是"没有评估集就上线"，需用人工最小集兜底。

• 理解 AI 执行操作的安全风险（诱导/越权）
• 能否设计权限校验与二次确认
• 能否设计审计留痕

用户诱导 AI 执行操作（改单、退款）是高危场景，必须用代码校验拦截。核心设计：工具调用层做强制权限校验——每个操作工具声明所需权限与数据范围，AI 请求执行时校验用户是否具备该权限、操作是否在授权范围内（如只能改自己的订单）；敏感操作（改单、退款、转账）强制二次确认——AI 先输出操作摘要，用户明确确认后才执行，确认动作由人机交互代码完成而不能由 AI 自行确认；操作全链路审计留痕——记录"谁、在什么上下文、调用了什么工具、参数是什么、结果如何"，供事后追溯。为防止诱导，系统指令与用户输入隔离，模型输出不能直接构造工具参数，参数经过白名单与 Schema 校验。

关键是把"AI 可调用"与"AI 可执行敏感操作"分离：敏感操作必须二次确认 + 权限校验 + 审计，且确认动作由代码保证而非 AI 承诺。面试官关注"权限校验与确认落在执行层"这一安全原则。

• 理解多语种路由与翻译策略
• 能否设计本地化知识库
• 能否处理语言切换的上下文保持

多语言客服设计：语种路由——通过语言检测或用户/渠道偏好识别语种，路由到对应语言的处理链路；翻译策略——两种方案：一是"翻译前置"（把用户输入翻译成主轴语言，处理后再翻译回用户语言），二是"同名同语种知识库"（每个语种独立本地化知识库，直接检索）。本地化知识库要求每个语种有独立文档与 FAQ，避免翻译质量损失。语言切换的上下文保持：会话上下文记录语言偏好，切换语言时保留历史语义（用统一语义槽位或摘要），翻译只作用于输入输出层，不破坏内部业务状态。回答时强调"语言是上下文的一部分，切换不丢业务态"。

面试官关注"翻译 vs 本地化知识库"的取舍：翻译简单但质量损失，本地化知识库质量高但成本高，常见做法是高频问题走本地化、低频走翻译。语言切换要保持"业务上下文"而非仅"文字"，这是关键点。

• 理解高峰流量下的容量估算
• 能否设计限流、排队与降级
• 能否保证高峰期可用性

客服系统高峰（大促、活动）容量规划：先按预估峰值 QPS 与单次模型调用耗时估算并发（并发 = QPS × 时长），预留 Provider 配额与实例数；网关层用令牌桶限流 + 队列排队吸收峰值，队列设长度与超时；降级策略分级——优先保证高价值（投诉、支付问题）与转人工，普通咨询降级为 FAQ 兜底、快模型、缓存命中或模板回复；对排队用户提示"预计等待时间"以保体验。同时要提前压测验证容量，并准备降级预案（手动触发、自动触发）。重点是"峰值不击穿、降级不崩溃、体验不崩坏"。

高峰规划的核心是"并发 = QPS × 时长"的预判 + "排队/降级"的缓冲。面试官考察是否区分"高峰批量问题"与"日常问题"，降级（保护高价值）。预判 + 压测 + 预案三件套覆盖容量规划。

• 理解 AI 辅助人工的工作流嵌入
• 能否设计采纳率度量
• 能否说明 AI 与人工协作的边界

工单助手把 AI 生成能力嵌入人工工作流：AI 自动生成回复建议（供客服一键采纳或修改）、会话摘要（新接手的客服快速了解上下文）、工单分类与优先级（自动打标）。嵌入方式：AI 输出作为"建议"而非"直接执行"，客服工作台展示建议卡片，客服可采纳、修改或忽略；建议需标注置信度与依据。采纳率度量：采纳率 = 被采纳或修改建议数 / 推荐建议数，是衡量 AI 有用性的核心指标；配合"人工修改量"（AI 离最终答案的差距）与"采纳后满意度"综合评估。AI 与人工边界：AI 负责生成草案与辅助信息，人工负责最终决策与执行，实现"AI 提效、人工兜底"。

面试官关注"AI 是辅助而非替代"的边界，以及采纳率这一 ROI 指标。回答强调建议卡片、置信度标注、采纳率/修改量度量，体现对"AI 辅助工作流"的落地理解。

• 理解意图分类与 FAQ 检索的串联
• 能否设计置信度低时的回退
• 能否结合 NLU 与 LLM 的取舍

意图识别与 FAQ 直答串联：先做意图分类（NLU 意图模型或 LLM 分类，识别意图与槽位），再据意图检索对应 FAQ 集合并直答；分类结果也可用于路由（高置信度直答、低置信度走 RAG 或引导）。意图置信度低时逐级回退：置信度低 → 引导提问澄清（追问缺失信息）→ 仍低 → 推荐相似 FAQ 或走 RAG 检索 → 仍无法满足 → 转人工。NLU 与 LLM 取舍：NLU 快、便宜、离线可控，适合高频同质意图；LLM 分类灵活、可处理开放意图，但成本高、延迟大，常用于低频或复杂意图。回退链路要保证"宁引导不硬答"。

面试官考察"意图分类与检索的串联 + 回退链"。核心是让意图分类驱动后续路由，低置信度走"引导→检索→人工"的逐级回退。NLU 与 LLM 的取舍体现成本与能力的权衡。

• 理解检索质量评估指标（命中率、NDCG、引用正确率）
• 能否设计评估集建设与回流
• 能否说明检索与重排的优化方向

检索质量评估指标：命中率（Recall@K，正确文档是否在 Top-K 中）、NDCG（排序质量，越靠前越相关得分越高）、引用正确率（生成答案中引用的文档是否真的支持断言）。评估集建设：从线上用户问题 + 人工标注正确文档与答案构建 query-doc 对，覆盖高频、边界、歧义样本；回流：线上 bad case（检索失败、引用错误）自动回流，人工标注后更新评估集。评估结果用于指导检索与重排优化：命中率低 → 优化分块/embedding/混合检索；NDCG 低 → 优化重排（rerank）；引用正确率低 → 优化生成连同检索的衔接。评估集是检索优化的"回归基线"，防止改动引入回退。

面试官考察"检索指标 + 评估集闭环"。区分三个指标：命中率看"是否检索到"，NDCG 看"排序是否对"，引用正确率看"生成与检索是否一致"。评估集 = 线上样本 + 人工标注 + bad case 回流，是检索优化的回归门禁。

• 理解索引层与生成层双重过滤
• 能否设计权限维度与实现
• 能否防止越权与泄漏

权限过滤要在索引层与生成层双重过滤，防止越权：索引层过滤——每个文档标注可见的角色/租户/部门，检索时把当前用户权限作为强制过滤条件代入索引（如向量检索只返回用户可见的 chunk），从源头杜绝无权文档进入候选集；生成层过滤——生成答案后，对输出做二次校验，确保引用的文档都属于当前用户可见范围，防止因混合检索或缓存导致越权内容泄漏。两层过滤互补：索引层防"检索到"，生成层防"输出到"。权限模型要支持角色、租户、字段级粒度，并随用户权限变更同步更新缓存与索引。

"双重过滤"是重点：索引层过滤防检索越权，生成层过滤防输出越权。单一过滤有漏洞（如缓存、混合检索、权限变更滞后）。回答强调权限维度贯穿检索与生成，且缓存带权限维度。

• 理解多渠道协议差异与统一会话模型
• 能否设计渠道切换的上下文延续
• 能否抽象统一的会话承载

多渠道接入需要统一会话模型：各渠道（微信、App、网页、电话）协议与消息格式不同，需做协议适配层（adapter），把各渠道消息归一化为统一的消息结构（用户消息、会话 ID、渠道标识、时间戳），再供业务层处理。统一会话模型把"用户身份"与"渠道会话"解耦：一个用户可能有多个渠道会话，但共享同一业务上下文（如订单、身份）。渠道切换时上下文延续：把业务上下文（意图、槽位、对话摘要）绑定到用户身份而非渠道，切换渠道时从用户上下文恢复，避免用户重复描述。电话渠道要考虑语音（ASR/TTS）与文本的差异，也需要统一抽象。

面试官考察"协议适配 + 用户身份统一会话"。核心是"会话绑用户而非绑渠道"，渠道是载体、用户是主体。渠道切换延续上下文 = 业务上下文存用户维度，切换时恢复。

• 理解 AI 先答、人工兜底的协作模式
• 能否设计升级路径与 SLA
• 能否划分责任边界

人机协作采用"AI 先答、人工兜底"：AI 先处理常规问题，遇到无法解决或高风险问题升级人工。升级路径设计：触发条件（AI 拒答、置信度低、用户要求转人工、涉诉/投诉、多次失败）→ 升级到人工队列 → 人工按优先级处理，并携带完整上下文。SLA 设计：AI 响应用户有延迟 SLA（如首字 < 2s），人工响应有排队 SLA（如转人工后 30s 内接入），超时给出排队提示。责任边界：AI 负责常规答复与信息提供，人工负责最终决策、敏感操作与投诉处理；AI 输出需标注"AI 生成"，敏感操作需人工确认，责任归属清晰。重点保证"升级不丢上下文、人工不重复劳动"。

面试官关注"升级路径 + SLA + 责任边界"。升级要有明确触发与队列，SLA 分 AI 与人工两段，责任边界靠"AI 辅助、人工决策"与敏感操作人工确认划定。

• 理解多租户知识隔离与共享
• 能否设计共享授权机制
• 能否防止跨租户泄漏

客服知识库多租户设计：知识隔离——每个租户（品牌/部门）有独立的知识集合与索引分区，检索时强制带租户条件，从数据层隔离；共享与授权——部分知识可跨租户共享（如公共 FAQ、通用政策），通过"授权关系"（租户 A 授权租户 B 访问某文档集）实现，而非物理复制；授权落在索引层标注，检索时合并"本租户 + 被授权共享"的文档。防泄漏：租户 ID 贯穿检索与生成，双重过滤（索引层 + 输出层），缓存带租户维度，权限变更时清理相关缓存。审计访问记录，防止越权读取。

面试官关注"共享而不复制 + 授权在索引层"。核心是"隔离默认、共享显式授权"，检索合并本租户与被授权文档，双重过滤防泄漏。这防止了"复制共享"导致的更新不一致与权限漂移。

• 理解持续优化闭环的完整环节
• 能否设计抽样与标注机制
• 能否说明 Prompt/检索迭代验证

持续优化闭环：会话抽样——按策略抽样线上会话（低满意度、转人工、bad case、随机样本）；人工标注——标注正确意图、回复质量、错误类型（知识缺失/检索失败/生成错误/权限问题）；评估回流——把标注样本归入评估集，扩展覆盖；Prompt/检索迭代——基于评估集发现问题，优化 Prompt、检索、重排或模型路由，再在评估集上回归验证，达标后灰度上线。闭环的关键是"用标注数据驱动迭代，用评估集防止回归"，形成"抽样→标注→评估→迭代→回归→上线"的常态化机制。迭代要区分"知识类"与"算法类"问题分别处理。

面试官关注闭环是否完整闭环。"抽样+标注"是数据来源，"评估回流"是数据资产，"迭代+回归"是价值落地。强调"评估集防止回归"与"按错误类型分流"体现工程化。

• 理解情绪与风险识别机制
• 能否设计转人工触发
• 能否设计分场景回复风格

情绪与风险识别：在对话中识别情绪关键词（愤怒、失望）、语义（投诉、威胁、涉诉）、音量/语气（语音渠道）、高频负面反馈，用情绪分类模型或规则检测，输出情绪等级与风险标签。命中高风险（涉诉、威胁、情绪激动）时触发转人工，并携带上下文与风险提示给人工优先处理。回复风格分场景调整：正常咨询用专业友好语气；情绪激动用户用安抚语气、避免激化、给出解决方案；涉诉/高风险用户用严谨、合规、转人工处理；涉及退款时用安全合规话术。风格调整通过对话状态中的"情绪标签 + 风险等级"驱动 Prompt 中的语气指令，或在规则层强制切换。

面试官关注"识别→转人工→风格调整"的联动。识别是前提，高风险转人工是兜底，风格调整是体验。回答强调"情绪/风险标签驱动路由与 Prompt 风格"，并把高风险强制转人工。