RAG-06-RAG语义缓存

目录

• • RAG语义缓存
• 参考资料

价值：提升效率，减少一个LLM处理，节约成本。

为什么是RAG的语义缓存？ 如果直接针对用户的query，因为不同的人的权限不同，可能缓存的结果不对。跟传统业务架构一样，缓存一般是在存储层之上。

RAG语义缓存

向量库1：存储的是入Redis缓存的问题（query）
Redis：query+answer

优化后主要耗时
embeding，向量库1查询，

参考资料

https://e.naixuejiaoyu.com/p/t_pc/course_pc_detail/video/v_65b92640e4b064a8cb1f4b16?product_id=p_65b9daf0e4b04c100808c065&type=6

https://juejin.cn/post/7241602581105442871

https://github.com/zilliztech/GPTCache