多模态理解与跨模态应用

共 20 题
#

1. 多模态大模型(视觉/音频理解)的输入预处理,图像分辨率、音频采样与文档版面如何优化?

A 直接暴力缩放丢失细节
B 不处理直接输入
C 分块处理并统一归一化,避免过度降采样 ✓ 正确答案
D 只做音频采样
#

2. CLIP 类图文对齐模型如何支撑"文本搜图/图搜图",图文嵌入的相似度口径如何校准?

A 仅依赖图像大小
B 关键词匹配
C 随机返回
D 把文本与图像映射到同一嵌入空间后用余弦相似度比对 ✓ 正确答案
#

3. 音频理解,语音情感、说话人识别与音频事件检测的工程接入与评测,与 ASR 有何区别?

A 音频采样率
B 仅 WER
C 文本准确率
D EER(等错误率)与检测错误曲线 ✓ 正确答案
#

4. 复杂版面理解,表格、公式与多栏版式的结构化抽取与问答的失败模式与评测?

A 仅文本 WER
B TEDS(树编辑距离)或单元格级准确率 ✓ 正确答案
C 仅图像分辨率
D 无标准
#

5. 文档智能(DocParse/OCR 布局识别)与多模态模型如何协同做企业文档问答?

A 只用一个
B 无需检索
C 完全依赖关键词
D DocParse 负责结构化检索,VLM 兜底复杂版面语义理解 ✓ 正确答案
#

6. 跨模态检索(文本搜图/图搜图/图文互检)与向量索引如何设计?

A 全量暴力扫描
B ANN 近似最近邻索引(如 HNSW) ✓ 正确答案
C 关键词倒排
D 无索引
#

7. 视频理解的 Token 化效率,抽帧策略、帧采样率与长视频分段理解如何取舍?

A 一次性喂入全部帧
B 提高帧率
C 关键帧抽取加分段理解后聚合 ✓ 正确答案
D 跳过所有帧
#

8. 跨模态检索的评估指标(Recall@K、MRR)与图文检索的工业界评测集如何选择?

A 仅 Recall@1
B 无指标
C 仅采样率
D MRR(倒数排名均值) ✓ 正确答案
#

9. 多模态理解(VLM)的输入,图像/音频/文档的预处理?

A 只求速度快
B 随意压缩
C 保留语义信息并匹配模型输入分布与限制 ✓ 正确答案
D 忽略模态差异
#

10. VLM 的结构化输出与视觉定位,OCR 文本、坐标框与 JSON 输出的可靠性,在截图理解场景的工程价值?

A 不约束格式
B 用 JSON Schema 约束并做输出校验与重试 ✓ 正确答案
C 直接使用原始输出
D 只输出文本
#

11. 多模态评测集构建,图文对与指代标注的流程与质量控制,如何降低标注噪声?

A 单人随意标注
B 完全不校验
C 多人冗余标注结合一致性校验与抽检仲裁 ✓ 正确答案
D 只信模型标注
#

12. 多模态模型的幻觉(如看图编造细节)如何评测与缓解?

A 提示词约束加检索增强加一致性校验 ✓ 正确答案
B 鼓励模型自由发挥
C 忽略幻觉
D 无置信度控制
#

13. 多模态 Agent 的"工具分工",视觉理解、OCR、语音识别各自用专用模型还是统一多模态模型?

A 全部用统一模型
B 只按成本选型
C 全部用专用模型
D 高精度低延迟任务用专用模型,复杂语义用统一模型,混合编排 ✓ 正确答案
#

14. 多模态应用的场景选型,图表理解、OCR 与视频摘要在各自业务中的价值与落地成本如何评估

A 只看技术先进性
B 忽略业务提升
C 一律选成本最低
D 业务价值与落地成本的 ROI 权衡 ✓ 正确答案
#

15. 多模态模型的成本核算,图像 Token、音频时长与视频抽帧的计费差异如何纳入单次调用成本模型

A 无统一口径
B 一律按字符数
C 按音频时长
D 按像素/切块折算 Token 数 ✓ 正确答案
#

16. 多模态评测,公开基准(如 MMMU、MMBench)与企业真实任务应如何结合,跨模态幻觉如何单独度量

A 仅公开基准分数
B 仅团队经验
C 企业真实任务评测集,并单列跨模态幻觉率 ✓ 正确答案
D 忽略幻觉
#

17. 多模态输入的分辨率与 Token 控制,降采样、分块与裁剪策略如何平衡识别精度与成本

A 一律大幅降采样
B 只按预算
C 全部丢弃
D 全局低分辨率加局部高分辨率分块/裁剪 ✓ 正确答案
#

18. 多模态端到端应用与专用流水线的取舍,图像问答、文档智能用统一 VLM 还是组合专用模型,如何按指标选型

A 只看模型大小
B 字段准确率、延迟、成本与维护复杂度等指标 ✓ 正确答案
C 只看学术分数
D 随机选择
#

19. 多模态 Agent 的输入流管理,屏幕、摄像头、文件输入的权限与隐私边界?

A 全程无授权采集
B 无需审计
C 数据无限留存
D 最小化采集、明确授权、加密审计与可撤销 ✓ 正确答案
#

20. 多模态检索索引更新,增量索引与合规删除如何保证检索一致性与时效?

A 只删数据库不删索引
B 同步删除向量索引与元数据,并保证一致性 ✓ 正确答案
C 保留缓存
D 定期全量重建即可