摘要: 集用SpringAI搭建系统,依靠线程池\负载均衡等技术进行请求优化,用于解决科研&开发过程中对GPT接口进行批量化接口请求中出现的问题。大语言模型接口以OpenAI的GPT 3.5为例,JDK版本为17。 阅读全文
posted @ 2024-05-11 21:12 linkcxt 阅读(527) 评论(0) 推荐(1)
摘要: 智能工作流:Spring AI高效批量化提示访问方案 基于SpringAI搭建系统,依靠线程池、负载均衡等技术进行请求优化,用于解决科研&开发过程中对GPT接口进行批量化接口请求中出现的问题。 阅读全文
posted @ 2024-05-11 21:04 linkcxt 阅读(123) 评论(0) 推荐(0)