1. 如何基于质量、首 Token 延迟、总延迟与成本选择通用模型或推理模型
问题
在接入多个模型供应商时，如何根据任务特征在通用模型与推理模型（reasoning model）之间做选择，并综合质量、首 Token 延迟、总延迟与成本四个维度进行权衡？
考察点
- 理解通用模型与推理模型在推理深度、延迟与成本上的本质差异
- 能按任务类型（简单抽取、复杂推理、代码、创意）建立选型决策
- 能将延迟、成本、质量转化为可量化的业务指标
答案
通用模型（如 GPT-4o、Claude 中速档）在普通任务上延迟低、成本低，适合即时交互；推理模型（如 o3、DeepSeek-R1、Claude 高思考档）会把大量 token 用于"思考"，首 Token 延迟（TTFT）明显更高、总延迟与成本也更高，但复杂推理任务的准确率更高。选型应建立"任务-能力"映射：对准确性可接受、追求低延迟的任务（分类、抽取、改写、摘要）用通用模型；对需要多步推理、数学、代码排错、复杂规划的任务用推理模型。同时要预设"路由"机制：同一调用先尝试轻模型，置信度不足时升级到推理模型（级联路由），并结合业务对 p99 延迟与单次成本预算的约束做出决策。
解析
核心是不要"一刀切"。推理模型的价值在"想得多"，但代价是"慢且贵"。选择时应先明确业务目标：是交互体验（延迟敏感）还是答案质量（正确率敏感）。用成本-质量曲线与延迟预算两个约束交叉决定，并用量化评估（如任务级准确率、错误率、每千次调用成本）持续校准，而不是凭印象。
示例代码
public ModelChoice chooseModel(TaskType task, LatencyBudget budget, CostBudget cost) {
if (task.requiresMultiStepReasoning() && budget.allowReasoning()) {
return ModelChoice.REASONING_MODEL; // 推理模型
}
return ModelChoice.GENERAL_MODEL; // 通用模型
}