大模型agent开发之loader

loader加载器的主要作用是加载各种格式的知识库给大模型进行学习，从而提升大模型在专业领域的能力，也是创建大模型agent开发的第一步。

 

TextLoader

在langchain中TaxtLoader加载器可以加载.md，.test等格式的文档，需要注意的是中文文档需要指明解析字符集格式。

    #使用loader加载markdown文档
    def testLoader(self,file):
        loader = TextLoader(file,encoding='utf-8')
        data = loader.load()
        return data

 

csvLoader

 在langchain中csvloader加载器可以加载csv文件，需要指定特定加载的列。

    #使用loader加载csv文件
    def csvLoader(self,file):
        loader = CSVLoader(file_path=file,source_column="name")
        data = loader.load()
        return data

 

directoryLoader

directoryLoader加载器可以加载excel文件，需要将目录下所有xlxs文件加载进来。

    def directoryLoader(self,file,suffix):
        loader = DirectoryLoader(path=file,glob=suffix)
        data = loader.load()
        return data

jsonLoader

jsonloader加载器可以加载json文件

    def jsonLoader(self,file):

        loader = JSONLoader(file_path=file,jq_schema=".template",text_content=True)
        data = loader.load()
        return data

pdfLoader

加载pdf类型文件

    def pdfLoader(self,file):
        loader = PyPDFLoader(file)
        data = loader.load_and_split()
        return data