⚙️ 工程化与评测
成本与性能:以成功任务为单位优化
找关键路径、控制循环、缓存并正确并行。
最后更新:2026年9月9日Markdown 知识文档
正确目标是优化“每成功任务成本”和“任务完成时间”,而非单次模型价格或平均请求延迟。
总成本包括模型输入输出、检索/重排、工具、重试、基础设施和人工审核。失败重跑会放大所有部分。
优化顺序
- 删除无效轮次和死循环;
- 缩短重复上下文,缓存稳定前缀与检索;
- 简单步骤路由到合适模型;
- 并行真正独立的工具;
- 流式返回进度,长任务异步化;
- 设置步骤、Token、时间与金额预算。
延迟要看 P50/P95/P99。并行总耗时取决于最慢分支,盲目并行还会增加限流、冲突和费用。
关联面试题: E11 降延迟 · E12 降成本 · T06 成本突增