2023年9月23日
基于本地知识库和LLM的知识库问答难点及解决方案
摘要： 难点：由于langchain采用的是硬切分文档的方式，导致文档分割不够准确，例如：在文档中若有分点描述的情况，对文档硬性分割后，会把各个重点分隔开，导致后续向量召回时，片段是残缺的。如： 如果硬性分割文档，则在召回阶段拿不到所有的通知信息。 解决方案：考虑使用语义分析的方式来分割文档，BERT模型训 阅读全文
posted @ 2023-09-23 15:22 sunshine丶23 阅读(422) 评论(1) 推荐(0) 编辑