摘要: RAG RAG:检索增强生成( Retrieval-Augmented Generation),从庞大知识库中检索到的相关信息,并以此为基础,指导大型语言模型生成更为精准的答案。 要解决的问题: 大模型幻觉 时效性查 专业能力欠缺 面对复杂问题推理能力有限 长文本处理能力较弱 RAG工作流程 文本处 阅读全文
posted @ 2025-05-30 17:41 AfroNicky 阅读(91) 评论(0) 推荐(0)
摘要: 使用Ollama完成LLM私有化部署后,除了命令行方式进行问答,还需要能够通过代码调用接口的方式进行。目前主要有以下几种方式:requests调用方式、openai调用方式、ollama调用方式、 requests调用 代码示例: # -*- coding: utf-8 -*- import jso 阅读全文
posted @ 2025-05-30 17:41 AfroNicky 阅读(118) 评论(0) 推荐(0)
摘要: 此Blog仅作为日常学习工作中记录使用,Blog中有不足之处欢迎指出 本次Blog为Linux版本的安装、部署 一、何为Ollama ​ Ollama是一个开源的 LLM(大型语言模型)本地部署服务工具,用于简化在本地运行大语言模型,降低使用大语言模型的门槛,使得大模型的开发者、研究人员和爱好者能够 阅读全文
posted @ 2025-05-30 17:40 AfroNicky 阅读(337) 评论(0) 推荐(0)
摘要: 此Blog仅作为日常学习工作中记录使用,Blog中有不足之处欢迎指出 何为Dify ‌Dify‌是一个开源的大语言模型(LLM)应用开发平台,旨在简化和加速生成式AI应用的创建和部署。它结合了后端即服务(Backend as Service, BaaS)和LLMOps的理念,为开发者提供了一个用户友 阅读全文
posted @ 2025-05-30 17:39 AfroNicky 阅读(103) 评论(0) 推荐(0)
摘要: 简单LLM应用概述 ​ 简单的LLM应用,是以大语言模型为基础,通过添加提示词、输出、知识库等工具或组件,构成完成一系列任务的应用。 模型 ​ 通过api_key、base_url等参数,配置并初始化模型参数 from langchain_openai import ChatOpenAI from 阅读全文
posted @ 2025-05-30 17:35 AfroNicky 阅读(32) 评论(0) 推荐(0)
摘要: 摘要 RAG分为:检索、增强、生成。涉及到大模型、向量库、词嵌入模型。本文采用deepseek-chat模型作为大模型,以智谱AI的Embedding-3模型为词嵌入模型,采用Chroma向量库,记忆LangChain框架实现简单的RAG应用。 组件初始化 配置载入 代码如下: import os 阅读全文
posted @ 2025-05-30 17:35 AfroNicky 阅读(62) 评论(0) 推荐(0)