成本可观测、异常告警与单位业务指标成本(per-task cost)

共 17 题
#

1. 为什么只监控总成本与成本/请求不够,单位业务动作成本(每解决工单、每份生成报告)应如何与业务价值指标关联并驱动功能取舍

A 只监控总成本与成本/请求就足够
B 把成本除以业务结果数得到单位业务动作成本,并与业务价值关联,驱动高成本低价值功能的取舍 ✓ 正确答案
C 成本/请求越低越好,无需看业务结果
D 业务结果与成本无关
#

2. 成本异常告警应如何区分真实异常(爬虫刷量、Agent 循环)与合理波动(活动、版本发布),动态基线如何防止告警噪声

A 用动态基线(相对期望的偏离)+ 事件日历上下文 + 持续条件,区分爬虫/Agent 循环等真实异常与活动/版本等合理波动 ✓ 正确答案
B 用固定阈值告警即可防止噪声
C 任何成本上升都立即告警
D 动态基线无法区分异常
#

3. per-task cost 归集应如何处理失败与重试任务,防止单位成本被异常样本稀释或抬高

A 失败任务成本应混入成功任务计算
B 异常样本应拉高均值
C 每次重试都算一个任务
D 成功与失败任务分桶各算 per-task cost,重试按任务 ID 去重累加,用分位数抗异常样本,保证单位成本可信 ✓ 正确答案
#

4. 成本告警触发后,如何按租户、功能、模型与 Prompt 版本快速下钻定位根因,需要预先埋哪些标签

A 成本告警只需看总量,无需下钻
B 下钻只需看模型一个维度
C 标签可事后补埋
D 预先埋租户/功能/模型/Prompt 版本等标签,告警后按租户→功能→模型→Prompt 版本逐层下钻定位根因 ✓ 正确答案
#

5. 如何识别高成本低价值功能(成本高但用户使用率低)并驱动产品降级或下线决策

A 所有功能成本相同,无需区分
B 按功能归集成本并结合使用率与价值评估,用成本—价值矩阵识别高成本低价值功能,驱动降级或下线 ✓ 正确答案
C 高成本功能一定高价值
D 使用率不影响功能价值判断
#

6. 成本观测的基线应如何管理,模型或 Prompt 变更后如何防止基线漂移导致告警失效

A 基线一旦设置就固定不变
B 模型变更无需调整基线
C 基线用滚动窗口动态更新,模型/Prompt 变更时主动重建基线并抑制告警,防止基线漂移导致告警失效 ✓ 正确答案
D 基线漂移只影响异常不影响告警
#

7. 成本数据如何与质量指标(任务成功率)联合解读,避免得出降本即降质的片面结论

A 成本降就一定是好降本
B 用单位成功成本(成本/成功数)把成本与质量统一,联合看成本曲线与质量曲线,判断降本是否真降本而非降质 ✓ 正确答案
C 质量降就一定是降本引起
D 成本与质量无法关联
#

8. token 成本的可观测埋点,请求级 usage 字段应如何标准化采集,才能支撑租户与功能维度的下钻?

A 制定统一 usage schema,请求内联埋点带租户/功能/模型标签,异步写入事件流,支撑任意维度下钻 ✓ 正确答案
B 各团队各自定义 usage 字段即可
C 埋点可省略标签
D usage 采集必须同步阻塞
#

9. 成本归因的分摊规则,公共成本(缓存、评估、网关)应如何按功能与租户公平分摊?

A 公共成本按租户数平均分摊
B 固定成本按比例、可变成本按实际用量分摊,规则透明可复查,避免小租户贴大租户 ✓ 正确答案
C 公共成本无需分摊
D 缓存成本按租户数平均分摊
#

10. 成本数据的采集与标准化,统一 usage 字段(input/output/cache/reasoning token)、汇率与价格表版本管理?

A 各 Provider 用各自 usage 字段即可
B 统一 usage schema(input/output/cache/reasoning),用汇率快照统一币种、价格表版本化,让成本数据可比、可复算、可审计 ✓ 正确答案
C 汇率用实时汇率即可
D 价格表无需版本管理
#

11. 成本报表面向财务(月度对账)与面向工程(日常优化)应如何差异化设计口径与粒度

A 财务与工程用同一套口径与粒度
B 财务报表需实时下钻
C 工程报表也需要高度精确对账
D 财务报表用实际含税、汇率快照、月度汇总(精确对账),工程报表用估算、实时、请求级下钻(日常优化),底层数据同源 ✓ 正确答案
#

12. 单位业务成本(每任务/每订单)应如何从请求级成本汇总,任务与订单的统计口径如何统一?

A 按任务/订单 ID 汇总所有请求成本,统一任务边界与成功/失败口径,再除以业务量得到单位业务成本 ✓ 正确答案
B 单位业务成本直接用请求级成本平均
C 任务边界无需统一
D 失败任务是否计入无关紧要
#

13. 成本异常告警触发后如何自动定位到模型回退、Prompt 改版或缓存失效,并给出处置建议?

A 成本异常只能人工排查
B 告警时自动对比模型/Prompt/缓存维度变化并关联变更事件,定位到模型回退、Prompt 改版或缓存失效,给出回退/修正/恢复建议 ✓ 正确答案
C 成本异常无固定根因,无法自动定位
D 处置建议只能是停机
#

14. 模型路由、缓存与上下文压缩三类降本手段的实施顺序与叠加收益应如何评估,避免重复优化?

A 三类手段作用面完全不同,收益可简单相加
B 先做路由一定最优
C 先做不影响质量的手段(缓存、压缩)再做有风险的路由,分别评估单独与组合收益,识别边际递减避免重复优化 ✓ 正确答案
D 叠加收益一定大于单独收益之和
#

15. 成本优化预算的落地,配额分配、告警阈值与自动降级动作应如何配置并定期复审?

A 预算配置一次性设置后无需调整
B 降级动作无需验证
C 告警阈值固定即可
D 配置配额/告警阈值/自动降级动作,并定期复审调整(业务变化、阈值校准、降级验证),持续运营优化 ✓ 正确答案
#

16. 成本看板应包含趋势、占比与预测三类视图,预测模型应如何校准以支撑预算编制?

A 看板含趋势/占比/预测三类视图,预测模型用历史回测校准误差并区分事件影响,支撑预算编制 ✓ 正确答案
B 成本看板只需趋势视图
C 预测无需校准
D 占比视图只反映总量
#

17. 成本预测与容量规划,基于流量趋势的 token 消耗预测、预算预警与预留策略?

A 容量规划只能按历史峰值预留
B 预测无法用于容量规划
C 基于流量趋势预测 token 消耗与成本,提前预警预算,按预测峰值+缓冲区规划容量预留,把事后止损变事前规划 ✓ 正确答案
D 预算预警无需预测