# 1. Comet + Opik 在 LLM 实验管理的工程价值 A 两者功能重复 B Comet 做实验管理与可视化，Opik 做 LLM 评估与 trace，覆盖闭环 ✓ 正确答案 C Opik 只做实验跟踪 D Comet 不做 LLM 实验
# 2. DeepEval、Patronus AI 在 LLM 评估的工程价值 A DeepEval 开源灵活可接入 CI，Patronus 商业企业级评估与安全 ✓ 正确答案 B DeepEval 是商业软件 C Patronus 是开源软件 D 两者功能相同
# 3. Galileo、Confident AI 在 LLM 评估的工程价值 A 二者都不做幻觉检测 B 两者完全一样 C Galileo 偏 RAG/幻觉检测，Confident AI 偏评估与反馈闭环 ✓ 正确答案 D 都只做实验跟踪
# 4. LLM 在线指标（延迟/吞吐/token 成本/错误率/安全拦截率）如何监控与告警？ A 监控延迟/吞吐/token 成本/错误率/安全拦截率并联动告警 ✓ 正确答案 B 只需监控延迟 C token 成本无需监控 D 安全拦截率与安全无关
# 5. LLM 应用的灰度发布中模型版本、Prompt 版本与代码版本如何解耦发布？ A 三版本必须同时发布 B Prompt 版本无需管理 C 无法独立回滚 D 模型/Prompt/代码三版本独立灰度与回滚，任一维度可单独变更 ✓ 正确答案
# 6. LLMOps 的运维挑战中提示词版本、模型更新与 token 成本的联动治理如何设计 A 三者相互独立 B 改 Prompt 不影响成本 C 统一管理 Prompt/模型版本，变更时联动评估质量与 token 成本 ✓ 正确答案 D 换模型无需评估成本
# 7. Langfuse、Helicone、Portkey 在 LLM Observability 的工程价值 A Langfuse 是网关 B 三者功能相同 C Portkey 只做可观测 D Langfuse 重可观测评测，Helicone/Portkey 重网关路由与成本 ✓ 正确答案
# 8. Phoenix（Arize）在 LLM 评估的工程价值 A Phoenix 只做实验跟踪 B Phoenix 不做 RAG 评估 C Phoenix 是商业软件 D Phoenix 开源做 trace 追踪、LLM/RAG 评估与监控 ✓ 正确答案
# 9. Prompt/模型的 A/B 实验平台如何建设，样本回流与评估如何闭环？ A 实验无需评估 B 样本不回流 C A/B 无需统计显著性 D 流量切分实验，样本回流评估集，评估结果驱动版本决策 ✓ 正确答案
# 10. PromptLayer、Promptfoo 在 Prompt 版本管理的工程价值 A 两者功能相同 B PromptLayer 管版本日志，Promptfoo 做测试回归，保证 Prompt 变更可控 ✓ 正确答案 C Prompt 无需版本管理 D Promptfoo 只做缓存
# 11. RAGAS、ARES、TruLens 在 RAG 评估的工程价值 A 三者只做检索 B RAGAS 指标全面、ARES 高效自动、TruLens 可观测集成，量化 RAG 质量 ✓ 正确答案 C RAG 无需评估 D TruLens 不做 RAG
# 12. LLM 应用监控三要素中质量（评测/反馈）、成本（token）与安全（注入/越狱）如何统一观测 A 三要素相互独立 B 只需观测质量 C 质量/成本/安全在同一请求维度上关联聚合，统一大盘与联动告警 ✓ 正确答案 D 安全无需监控
# 13. LLM 数据管道运维中数据清洗、embedding 生成与检索索引更新的流水线如何监控 A 只需监控索引更新 B 监控清洗/embedding/索引更新各阶段成功率与调度失败，保证数据新鲜 ✓ 正确答案 C 数据管道故障不影响检索 D embedding 失败无需告警
# 14. LLM 服务的容量规划中并发与 token 吞吐的关系如何估算？ A 容量只取决于请求数 B 显存决定并发、算力决定吞吐，按峰值并发与 token 需求估算 GPU 数 ✓ 正确答案 C 无需压测校准 D KV cache 不影响并发
# 15. LLM 服务的部署形态中自建推理服务、托管 API 与网关路由的选型与切换 A 网关无法切换形态 B 自建永远最优 C 托管数据最安全 D 自建成本可控数据私有、托管免运维、网关路由统一切换两者 ✓ 正确答案
# 16. LLM 模型 A/B 与灰度中流量切分、评测指标与自动回滚条件如何设计 A 一次全量切换 B 无需自动回滚 C 只看质量指标 D 逐步切流量，综合质量/延迟/成本/安全指标，异常自动回滚 ✓ 正确答案
# 17. WhyLabs、Arthur 在 ML/LLM 监控的工程价值 A 两者不做漂移检测 B 都做漂移/性能/质量监控，WhyLabs 开源可自托管、Arthur 企业级 ✓ 正确答案 C WhyLabs 是商业软件 D 二者只监控延迟
# 18. 提示词版本管理中 Prompt 注册、变更评审、回归评测与回滚机制如何落地 A Prompt 注册为不可变版本，走评审、回归评测与回滚闭环 ✓ 正确答案 B 回归评测可跳过 C Prompt 无法回滚 D Prompt 变更无需评审
