大模型推理服务发布与成本分摊

共 18 题
#

1. 大模型推理服务的“模型即发布物”如何做版本管理与灰度回滚?

A 模型版本无需注册表
B 模型发布不可回滚
C 用模型注册表管理不可变版本,灰度发布并支持快速回滚 ✓ 正确答案
D 模型版本与评测无关
#

2. 大模型推理的多模态(文/图/音)扩展对运维资源与链路的挑战?

A 多模态带来更高显存/算力需求与更长链路,需分段监控与容量规划 ✓ 正确答案
B 多模态链路更短
C 图像编码不消耗算力
D 多模态与单模态资源相同
#

3. 大模型推理的缓存(相同问题复用)命中率与失效策略?

A 模型版本升级无需失效缓存
B 缓存 hit 永远正确
C 缓存 key 设计决定命中率,版本升级与数据更新需触发失效 ✓ 正确答案
D 命中率与 key 设计无关
#

4. 推理服务与训练平台的“训练-部署”闭环(持续微调再发布)运维?

A 微调后直接全量发布
B 评测门禁可有可无
C 自动触发微调→评测门禁→灰度发布→线上监控→回滚的闭环 ✓ 正确答案
D 闭环无需监控线上质量
#

5. 推理服务的 A/B 测试(不同模型对同一问题)如何度量胜出?

A 只看输出文本长度
B 同输入对比新旧模型,综合质量/延迟/成本并做显著性检验 ✓ 正确答案
C A/B 无需样本量保证
D 胜出只看质量不看成本
#

6. 推理服务的提示词/系统提示词变更如何走发布与回滚流程?

A 提示词变更无需评审
B 提示词与模型版本必须绑定发布
C 提示词版本化、评审、灰度发布并支持独立回滚 ✓ 正确答案
D 提示词变更不可回滚
#

7. 推理服务的限流(按 token/按请求)与配额治理如何分层?

A 配额无优先级之分
B 只需按 QPS 限流
C token 限流无法反映算力消耗
D 按请求与按 token 双维度限流,并按租户/应用/模型分层配额 ✓ 正确答案
#

8. 新模型上线前如何用离线评测集(eval)做质量门禁?

A 评测集无需覆盖业务场景
B 用覆盖通用+业务场景的评测集与基线对比,达标才可发布 ✓ 正确答案
C 门禁只看绝对值不看基线
D 评测集无需版本化
#

9. 模型权重的安全存储与拉取(防泄漏/加密)如何运维?

A 权重无需加密
B 拉取无需鉴权
C 静态加密+传输加密+IAM 访问控制+审计日志四层防护 ✓ 正确答案
D 凭证可明文存放
#

10. Kubecost 如何在多集群/多租户环境下实现按 namespace、deployment、service 粒度的实时成本分摊

A 基于资源使用率×单价实时计算,按 namespace/deployment 粒度并靠标签归因 ✓ 正确答案
B 无法跨集群聚合
C 成本分摊与标签无关
D 只能按集群总量分摊
#

11. Kubecost 的 Allocation 模型如何处理共享负载(如 ingress controller、监控 agent)的成本分摊

A 通过分摊规则把共享成本按权重分到各租户,并识别 idle 成本 ✓ 正确答案
B 共享负载成本归入单租户
C idle 成本无需处理
D 分摊权重无关紧要
#

12. showback 与 chargeback 在组织治理中的差异,何种场景下应先从 showback 切入再过渡到 chargeback

A showback 只回显成本不扣款,chargeback 强制扣款,应先 showback 验证分摊再过渡 ✓ 正确答案
B chargeback 与 showback 无差异
C 应直接采用 chargeback
D showback 无需数据准确
#

13. 云成本标签(tag)治理中,如何处理历史资源无标签、标签命名不一致、跨团队标签冲突三类典型问题

A 历史资源无需处理
B 命名规范可随意
C 历史资源补标签、命名规范化统一、冲突用唯一 owner 解决 ✓ 正确答案
D 标签冲突无法解决
#

14. 如何设计标签策略以同时满足财务部门成本中心核算与研发团队服务粒度归因的双重需求

A 只需一套标签即可
B 财务与研发标签互斥
C 用财务维度(cost_center)与研发维度(team/service)双标签体系同时满足 ✓ 正确答案
D 标签无需强制
#

15. 当 Kubecost 或云厂商账单与监控系统数据出现金额偏差时,如何定位根因(计费周期、折扣、预留摊销、汇率)

A 预留摊销不影响口径
B 偏差必然说明监控出错
C 对齐计费周期、单价口径(折扣/摊销)与币种来定位偏差 ✓ 正确答案
D 汇率无需考虑
#

16. 推理服务的区域就近部署与数据合规(跨境)如何协调?

A 就近部署必然违反合规
B 区域隔离+数据本地化,模型权重与用户数据分离处理 ✓ 正确答案
C 用户数据可任意跨境
D 无需合规审计
#

17. 闲置资源识别中,如何区分「低利用率但必要」(如冷备)与「真闲置」(如遗忘的测试环境)

A 结合 owner 确认、使用痕迹与必要性判断,避免误删冷备 ✓ 正确答案
B 冷备无用应删除
C 利用率低即应回收
D 无需 owner 确认
#

18. 如何在 CI/CD 中嵌入成本预估(如 Infracost),使 PR 评审阶段即可看到基础设施变更的月度花费影响

A Infracost 解析 IaC 计算成本并在 PR 阶段展示月度影响,可设成本门禁 ✓ 正确答案
B 成本门禁会影响所有变更
C 估算只需读价格不用使用率
D 成本预估无法自动化