成本控制

1. 智能路由（入口调用）--意图识别？

　　规则匹配：1 关键词BM25 走特定流程。2 用户权限。 (很多口语表达不易匹配)

　　预训练小分类模型：划分任务类型、难度、风险程度（有新语料可能要重训）

　　语义匹配：典型问题向量化，语义匹配复用模型配置

　　置信度路由：先给小模型生成，同时要求生成置信度、不确定程度，根据分数决定是否转发给大模型

2.kv cache缓存 （针对模型侧）

　　上下文追加，遵循前缀匹配，降低费用，有的模型提供商支持动态调整系统提示词，按模块修改

3. 精简上下文

　　智能压缩上下文---历史压缩，精简摘要

　　工具筛选---预筛工具、工具动态加载（给模型一个toolsearch工具，连接mcp，想要什么工具，没绑定的可以搜索调用）

　　外部记忆---支持记忆检索