摘要: 目录背景和价值调用大模型之前大模型调用优化提问质量引入本地知识库结果缓存与复用微调本地小模型参考资料 背景和价值 问题分析: 通常这类API是按调用次数或者按token数量计费的。 减少调用次数,或者token 我们应该从大模型开发的流程来看怎么节约token资源 调用大模型之前 缓存化。如果用户之 阅读全文
posted @ 2025-02-28 18:16 向着朝阳 阅读(115) 评论(0) 推荐(0)
摘要: 目录功能要求技术点异步线程池不丢失traceID打印日志需要带上traceID跨服务调用传递traceID能够抓取SQL,并做敏感数据脱敏支持各种框架的调用链传输,比如Redis,数据库连接池,Springcloud。并能够在拓扑图清晰可观测。开源框架OpenTelemetryOpenTracing 阅读全文
posted @ 2025-02-28 10:30 向着朝阳 阅读(116) 评论(0) 推荐(0)