2025年3月18日
DB-GPT项目的基本作用和介绍
摘要： DB-GPT 用私有化LLM技术定义数据库下一代交互方式 DB-GPT 是什么？ DB-GPT是一个开源的数据库领域大模型框架。目的是构建大模型领域的基础设施，通过开发多模型管理、Text2SQL效果优化、RAG框架以及优化、Multi-Agent框架协作等多种技术能力，让围绕数据库构建大模型应用更 阅读全文
posted @ 2025-03-18 10:28 Michael_Z 阅读(272) 评论(0) 推荐(0)
私有化大模型部署
摘要： 大模型部署准备工作 OpenAI Key 数据集密钥 阿里云ECS部署 https://www.aliyun.com/product/ecs?spm=5176.29677750.nav-v2-dropdown-menu-1.d_main_0_0.e939154aipWLuV&scm=20140722 阅读全文
posted @ 2025-03-18 10:25 Michael_Z 阅读(6) 评论(0) 推荐(0)
ChatGLM一键微调
摘要： 阿里云平台配置 DSW交互式建模实例创建 每一步记得点击开始，一定要一个个点，下载完在点下一个 最后完成之后，点击生成的地址跳转Demo页面 Demo页面 阅读全文
posted @ 2025-03-18 10:24 Michael_Z 阅读(13) 评论(0) 推荐(0)
LangChain之Model IO
摘要： Model I/O 可以把对模型的使用过程拆解成三块：输入提示(Format)、调用模型(Predict)、输出解析(Parse) 提示模板 LangChain的模板允许动态选择输入，根据实际需求调整输入内容，适用于各种特定任务和应用。 语言模型 LangChain提供通用接口调用不同类型的语言模型 阅读全文
posted @ 2025-03-18 10:22 Michael_Z 阅读(64) 评论(0) 推荐(0)
LangChain介绍
摘要： LangChain介绍 LangChain是一个基于大语言模型用于构建端到端语言模型应用的框架，它提供了一系列工具、套件和接口，让开发者使用语言模型来实现各种复杂的任务，如文本到图像的生成、文档问答、聊天机器人等。 官网地址：https://python.langchain.com/docs/int 阅读全文
posted @ 2025-03-18 10:21 Michael_Z 阅读(138) 评论(0) 推荐(0)
LangChain虚拟环境
摘要： 1.Python虚拟环境 参考文章: https://blog.csdn.net/lijunXHU/article/details/135115322 安装模块: pip install virtualenv -i https://pypi.tuna.tsinghua.edu.cn/simple/ 阅读全文
posted @ 2025-03-18 10:21 Michael_Z 阅读(50) 评论(0) 推荐(0)
2025年3月13日
什么是大模型的量化和蒸馏
摘要： Quantization (量化) & Knowledge Distillation(蒸馏) Ollama：量化技术 量化是一种将模型中的浮点数参数（如32位浮点数）转换为低精度数值（如8位整数）的技术。通过减少数值的精度，可以显著减少模型的计算复杂度和存储需求。 量化类型： 1.权重量化：仅对模型 阅读全文
posted @ 2025-03-13 12:45 Michael_Z 阅读(581) 评论(0) 推荐(0)
2025年3月12日
RAG指标评估
摘要： 1.RAG效果评估的必要性 评估出RAG对大模型能力改善的程度 RAG优化过程，通过评估可以知道改善的方向和参数调整的程度 2.RAG评估方法 人工评估 最Low的方式是进行人工评估：邀请专家或人工评估员对RAG生成的结果进行评估。他们可以根据预先定义的标准对生成的答案进行质量评估，如准确性、连贯性 阅读全文
posted @ 2025-03-12 12:08 Michael_Z 阅读(243) 评论(0) 推荐(0)
RAG的缺陷介绍
摘要： RAG痛点问题分析论文 论文：《Seven Failure Points When Engineering a Retrieval Augmented Generation System》 地址: https://arxiv.org/pdf/2401.05856 https://www.163.co 阅读全文
posted @ 2025-03-12 12:08 Michael_Z 阅读(187) 评论(0) 推荐(0)
各大平台RAG实现
摘要： 阿里云-百炼RAG 创建应用->上传数据->知识索引 https://bailian.console.aliyun.com/ 智普RAG 创建应用-》上传数据 https://www.zhipuai.cn/ Google的NoteBook https://notebooklm.google/ 阅读全文
posted @ 2025-03-12 12:07 Michael_Z 阅读(27) 评论(0) 推荐(0)
下一页