# 1. 在 AI 应用中如何评估 Embedding 质量,内在向量指标(MTEB 子集、相似度分布)与外在任务指标(召回率、命中率、答案正确率)的联合解读 A 只看内在指标 B 只看 MTEB C 只看相似度分布 D 以外在任务指标为主、内在指标辅助定位,识别是向量问题还是检索链路问题 ✓ 正确答案
# 2. 在 AI 应用中如何利用 Embedding 维度可调(MRL / Matryoshka)按业务分级选择维度,平衡召回率与存储成本 A 只能用一个固定维度 B 降低模型质量 C 只能用于高维 D 同一向量可截断到不同维度,按业务分级选维度平衡召回率与存储成本 ✓ 正确答案
# 3. 在 AI 应用中如何处理多语种(中英日韩)Embedding 的检索对齐与语言检测,避免跨语言鸿沟导致检索失败 A 用多语种对齐模型,配合语言检测与翻译/混合检索兜底,并按语种对评测 ✓ 正确答案 B 用单语种模型即可 C 忽略语言差异 D 只做中文检索
# 4. 如何评测混合检索相对纯向量检索的提升(Recall@K、nDCG、答案正确率),上线后没提升应如何归因 A 查询语义化、融合权重不当、两者结果重叠度高或排序漂移 ✓ 正确答案 B 混合检索必然提升 C 只有向量检索才对 D 与评测无关
# 6. cross-encoder reranker 与 LLM-based rerank(listwise/rankGPT)在成本、延迟与效果上如何取舍 A cross-encoder 延迟高 B cross-encoder 在线高效低成本,LLM-based 效果强但延迟高成本高,按场景取舍 ✓ 正确答案 C 两者互换 D LLM-based 成本最低
# 7. rerank 后的分数校准与阈值治理如何做,防止高分但不相关的结果进入生成 A 降低延迟 B 提高分数 C 把相对分数校准到可比尺度并设相关性门控,防止不相关结果进入生成 ✓ 正确答案 D 删除所有候选
# 8. 切块策略(固定/语义/父子块)对混合检索效果的影响如何与 rerank 联合评估 A 只看切块本身 B 固定切块即可 C 与 rerank 和端到端联合评估,因为切块影响候选、rerank 影响排序,两者耦合 ✓ 正确答案 D 不考虑 token 成本
# 9. rerank 模型的在线服务如何做容量规划与降级(超时跳过 rerank)策略 A 超时则等待直到成功 B 无限重试 C 设置超时跳过 rerank 直接返回检索结果,配容量规划与限流,监控降级率 ✓ 正确答案 D 不需要降级
# 10. 融合权重与 rerank 参数如何版本化并与评估基线绑定,防止调参后效果漂移无法归因 A 检索参数版本化并与评估基线绑定,流量按版本标记,变更走门禁 ✓ 正确答案 B 想改就改 C 只看最终分数 D 参数无需记录
# 11. BM25 与向量检索结果用 RRF/加权融合时,权重应如何用自有查询集调优,而不是照搬经验值 A 忽略数据集 B 照搬 0.5/0.5 经验值 C 随机定权重 D 用自有标注查询集进行网格/自动调优,并在验证集上以 Recall@K、nDCG 选择最优权重 ✓ 正确答案
# 12. Embedding 模型选型,BGE/m3/e5 的维度与语言支持? A 所有模型一样 B 按语种覆盖、维度、检索能力与成本匹配业务,并用自有评测集实测 ✓ 正确答案 C 只看模型大小 D 只看维度
# 13. 比较 OpenAI text-embedding-3、BGE-M3、E5 与 Cohere Embed v3 在延迟、计费、维度、中英文支持与维度可调上的应用层选择 A 只看价格 B 只看模型最大 C 只用商业 API D 综合延迟、计费、语种支持、维度可调与隐私要求,结合实测选型 ✓ 正确答案
# 14. Reranker(bge-reranker、Cohere Rerank)在召回—精排两阶段中的接入位置如何确定,延迟预算与候选集大小如何设定 A 在生成之前任意位置 B 在粗召回后、生成前,按延迟预算实测倒推候选集大小 ✓ 正确答案 C 不设延迟预算 D 候选越大越好
# 15. Embedding 的评测,检索任务(MTEB/BEIR)? A MTEB/BEIR 做横向筛选,自有业务评测集做最终选型与回归 ✓ 正确答案 B MTEB/BEIR 分数完全代表业务效果 C 无需自有评测 D 只看 nDCG
# 16. 向量维度的选择,高维精度、存储成本与检索延迟的权衡如何量化,降维(MRL)何时值得 A 任何场景 B 高精度医疗场景 C 存储/延迟成本敏感或业务精度不敏感,且降维后召回仍可接受 ✓ 正确答案 D 永远不值得