摘要：1.下载模型 1.1打开魔搭社区官网，找到你要微调的模型 按上面的图，复制模型clone命令，也可以直接下载所有文件到一个文件夹下。 # 打开LLaMa-Factory的下载根目录，执行下面的命令 git clone https://www.modelscope.cn/deepseek-ai/Dee
阅读全文
摘要：1.环境准备 1.1安装Python 3.10.11 可以在微软商店里安装。 1.2如果是英伟达的显卡推荐大家安装cuda11.8 官网下载地址：CUDA Toolkit Archive | NVIDIA Developer 1.3安装torch pip3 install torch torchvi
阅读全文
摘要：链接：https://ollama.com/huihui_ai
阅读全文
摘要：一、在线直接从魔搭安装 魔搭社区官网：https://modelscope.cn/models?libraries=GGUF&name=qwen3&page=1&tabKey=libraries #这里的模型下载地址就是魔搭社区的git clone的地址，去掉“.git”后缀，等待下载完成即可。 o
阅读全文
摘要：1.如何把ChatClient集成向量数据库SimpleVectorStore并实现RAG? 1.引入向量数据库和向量库拦截器依赖 <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-starter
阅读全文
摘要：1.多租户工作原理 2.引入jdbc的pom spring官网链接：https://docs.spring.io/spring-ai/reference/api/chat-memory.html，推荐使用官网的jdbc。 阿里巴巴ai链接：https://github.com/alibaba/spr
阅读全文
摘要：SpringAI的tool和mcp的关系 其实mcp就是把spring应用里的通用tool功能，抽取出来，单独部署，这样当新服务需要通用的tool时，就只用集成mcp-client调用mcp-server功能就行了，不用再重复开发。
阅读全文
摘要：WebClient调用sse接口 我在fast-ai服务里写好了sse接口，能正常访问，返回sse流，由于fast-ai服务没有认证服务，所以我就用fast-server服务通过feign调用fast-ai的相关接口，但是发现fegin只能请求http的restful接口，sse接口无法请求。所以这
阅读全文
摘要：SpringAI如何先调用向量库，再把查到的结果一起传给大模型？ 1.引入pom <dependencies> <dependency> <groupId>com.alibaba.cloud.ai</groupId> <artifactId>spring-ai-alibaba-starter-das
阅读全文
摘要：SpringAI如何先调用向量库，再把查到的结果一起传给大模型？ 1.引入pom <dependencies> <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-starter-model-oll
阅读全文
摘要：1.问题 我在对接自己公司部署的模型时，使用curl直接访问模型接口没问题，但是使用springAI就不行了。报下面的错误： 2025-08-12T22:10:02.402+08:00 INFO 17620 [spring-Ai] [nio-8080-exec-2] o.a.c.c.C.[Tomca
阅读全文
摘要：1.RAG（知识库 ChatPDF） 由于训练大模型非常耗时，再加上训练语料本身比较滞后，所以大模型存在知识限制问题： 知识数据比较落后，往往是几个月之前的 不包含太过专业领域或者企业私有的数据 为了解决这些问题，我们就需要用到RAG了。下面我们简单回顾下RAG原理 1.1.RAG原理 要解决大模型
阅读全文
摘要：1.导言 阿里云百炼的通义千问模型支持 OpenAI 兼容接口，您只需调整 API Key、BASE_URL 和模型名称，即可将原有 OpenAI 代码迁移至阿里云百炼服务使用。 如果是要接入阿里云百炼模型，首先推荐使用Spring AI Alibaba，而不是使用SpringAI。当然了，因为百炼
阅读全文
摘要：大模型如何实现会话记忆？ 1.什么是assistant？ 我们已经知道，role中的user角色存储的是用户输入的内容，system角色是用来指定大模型角色和任务背景的系统指令。 大模型是没有会话记忆的，如果想实现会话记忆功能，唯一的办法就是把之前聊过天的内容与新的提示词，一起发给大模型。这里我们就
阅读全文
摘要：SpringAI如何记录会话日志？ 1.原理 SpringAI利用AOP原理提供了AI会话日志的拦截，增强等功能，也就是Advisor。 下面这几个类很重要： 2.开启会话日志步骤 2.1 ChatClient配置SimpleLoggerAdvisor package com.fast.ai.con
阅读全文
摘要：工程配置步骤 注意 1.spring-ai要求jdk最低版本为jdk17 2.spring-ai要求spring-boot最低版本为3.0 3.模型客户端配置三要素：system-content(让大模型知道自己是谁),user-content(用户提问的问题),model 1.引入依赖 <pare
阅读全文
摘要：1.Xinference官网 官网地址:https://inference.readthedocs.io/zh-cn/latest/getting_started/installation.html 2.按需安装 确定cuda是否安装，以及cuda的版本 #我的cuda是12.8版本 nvidia-
阅读全文
摘要：如何安装anaconda管理Python环境? 1.下载anaconda安装包 anaconda官网地址:https://www.anaconda.com 下面可以用谷歌账号登录 下面根据你的系统，选择合适的安装包 2.安装anaconda 选择下载好的安装包，一路点击下一步，选择要安装的位置，可以
阅读全文
摘要：一、好用的中文模型合集 1.shaw/dmeta-embedding-zh shaw/dmeta-embedding-zh是一个只有 100M 参数的中文嵌入模型，支持 1024 的上下文长度，计算效率高，适用于多种任务场景。它在 MTEB 基准测试中取得了优异的成绩，特别适用于语义向量检索、RAG
阅读全文
浙公网安备 33010602011771号
