随笔分类 - AI
大语言模型
知识库问答系统
摘要:目前 ChatGPT、GLM等生成式人工智能在文本生成、文本到图像生成等在各行各业的都有着广泛的应用,但是由于大模型训练集基本都是构建于网络公开的数据,对于一些实时性的、非公开的或离线的数据是无法获取到的,这个导致了在实际应用场景中会发现,通用的基础大模型基本无法满足我们的实际业务需求,普遍都存在着
阅读全文
摘要:一、下载向量模型 在对接向量模型之前,先去下载好对应的模型:[(https://huggingface.co/)] (注意:下载模型需要使用魔法,最好使用网络稳定一点的。) 二、上传模型到服务器 下载好模型之后,上传到部署 MaxKB 的服务器上。 1. 创建 model 文件夹 ## 创建 mod
阅读全文
摘要:主题:在 Centos7 环境部署 MaxKB 以及 Ollama 实现基于离线大模型的的小助手调用。 选择离线部署的原因:原计划是打算直接使用 1Panel 进行 MaxKB 和 Ollama 一键部署的,但是两者都会出现 Docker 远程拉取镜像超时的问题,于是选择了离线部署。 一、MaxKB
阅读全文
摘要:一台有GPU的虚拟机如果没有安装CUDA的驱动,是需要我们手动去进行安装的,介绍Ubuntu操作系统的安装教程。 1. 下载安装文件 NVIDIA CUDA Toolkit Archive 点击上面链接,进入CUDA Toolkit Archive,下载需要的CUDA工具包,本文章以CUDA Too
阅读全文
摘要:一、实现方案 利用讯飞大模型智能 PPT 生成接口实现,具体参见:讯飞开放平台智能PPT生成 https://www.xfyun.cn/services/aippt#anchor4503211 二、新增函数 2.1函数脚本 # -*- coding:utf-8 -*- import hashlib
阅读全文
摘要:在MaxKB中替换向量模型前,我们需要先了解向量相关的原理和技术,此处不做赘述,大家可以自行学习。可以了解下Embedding、Embedding核心,向量库等内容。 一、MaxKB 默认向量模型 MaxKB一款基于大语言模型和RAG技术的知识库问答系统,具体可以参见其官网:https://maxk
阅读全文
摘要:RAG 已经成为 LLM 大语言模型在企业落地的最佳方案,其中主要是因为 RAG 能够解决幻觉问题、时效性问题以及数据安全问题。 解决幻觉问题: LLM 文本生成的底层原理是基于概率的 token by token 的形式,因此会不可避免地 产生“一本正经的胡说八道"的情况。比如:你说,”博物馆下周
阅读全文
摘要:一、总体方案 目前在使用 DeepSeek 在线环境时,页面经常显示“服务器繁忙,请稍后再试”,以 DeepSeek R1 现在的火爆程度,这个状况可能还会持续一段时间,所以这里给大家提供了 DeepSeek R1 +RAG 的本地部署方案。最后实现的效果是,结合本地部署的三个开源工具,包括 1Pa
阅读全文
浙公网安备 33010602011771号