摘要: 缓存应用场景: 对话系统中,用redis来存储用户对话的上下文,用户每次说话将用户对话的上下文带给大模型进行推理,然后返回给用户回答 该对话系统用在电话场景,对响应速度要求较高。 代码中自己对redis的耗时进行了记录 超过50毫秒报警 start_time = time.time() dialog 阅读全文
posted @ 2024-03-02 21:00 大祥鸭 阅读(71) 评论(0) 推荐(0)