1. 从 Prompt Demo 到生产系统最大的差距是什么，完整架构应包含哪些层次（入口、编排、上下文、RAG/Memory/Tool、网关、评测观测）
问题
从 Prompt Demo 到生产系统最大的差距是什么，完整架构应包含哪些层次（入口、编排、上下文、RAG/Memory/Tool、网关、评测观测）？
考察点
- 理解 Demo 与生产环境的本质差异（质量、安全、成本、可观测）
- 能否完整、分层地描述生产级 AI 应用架构
- 对每个层次职责边界的清晰认知
答案
从 Prompt Demo 到生产系统的最大差距在于 Demo 只解决了"单次、单用户、无约束、无治理"的可行性验证，而生产系统必须同时满足质量稳定、权限安全、成本可控与可观测可回滚。一个完整的生产级架构通常划分为六层：入口层（API 网关/鉴权/租户识别/限流降级）、编排层（意图路由、任务逻辑、状态机）、上下文层（Prompt 组装、指令、历史会话、业务数据注入）、能力层（RAG 检索、Memory 记忆、Tool 工具调用）、模型网关层（统一 Provider 接入、模型路由、重试、限流、成本统计）以及评测观测层（离线评测、影子流量、在线监控、Trace 回放）。各层职责清晰、可独立演进，才能支撑灰度发布与故障定位。
解析
重点在于"分层"而非"堆框架"。Demo 的核心缺陷是缺少治理设施——没有权限、没有配额、没有评测、没有监控。回答时把一次请求拆成"入口→编排→上下文→能力→网关→模型→校验→观测"的链路，既体现架构视野，又为后续的容量、安全、评测等子问题提供了讨论框架。
示例代码
// 生产请求链路的简化示意（Java 侧流程编排）
public class AiRequestPipeline {
public AiResponse handle(AiRequest req) {
Tenant ctx = auth.resolveTenant(req); // 入口：鉴权+租户
TaskType type = router.classify(req); // 编排：任务分类
List<ContextItem> ctxItems = contextBuilder.build(req, ctx); // 上下文组装
Prompt prompt = promptAssembler.compose(type, ctxItems);
ModelResult res = gateway.call(type, prompt, ctx); // 网关：路由+重试+限流
res = outputValidator.check(res, ctx); // 输出校验（安全/合规）
observer.trace(req, prompt, res); // 观测：Trace 记录
return res;
}
}