性能与成本控制示例
演示目标
通过 performance_cost.py 理解第32章的核心主题:
- 月度成本预估(
CostEstimate):先把账算清楚再谈优化 - 成本感知模型路由(
CostAwareRouter):启发式复杂度判断 + 分层模型选择 - 上下文预算管理(
ContextBudget):system_prompt / history / docs / tools / query 分层分配 - 工具输出截断策略(
trim_to_budget) - 历史消息压缩(
compress_history)
依赖安装命令
bash
pip install openai必要环境变量
DEEPSEEK_API_KEY:模型路由演示会调用 DeepSeek Chat,运行前导出(macOS/Linux:export DEEPSEEK_API_KEY="your_key")
建议先运行哪个文件
bash
python performance_cost.py运行后依次展示:
- 月度成本预估(三个规模场景对比)
- 成本感知模型路由(复杂度判断 + 每次调用 token / 成本 / 延迟)
- 路由预算汇总(总调用数、总成本、按复杂度分布)
- 上下文预算分配报告
- 工具输出截断策略效果
对应正文哪一节
- 第32章:《性能与成本,把"聪明"做在架构里》(docs/intermediate/32-performance-cost/)