一蓑烟雨度平生

摘要： RAG实战6-如何在LlamaIndex使用自己搭建的大模型API 在搭建一个大模型API服务中，我们介绍了如何使用SWIFT框架搭建一个大模型API服务。在RAG实战1-5中，我们一直使用的是本地加载大模型的方式来调用大模型，本文将介绍如何在LlamaIndex中使用自己搭建的大模型API。 Ll 阅读全文

摘要： 监控大模型训练 大模型训练时间久，而且过程中容易出现各种各样的问题而中断，中断之后不及时续练的话对GPU资源是很大的浪费，但是我们又不能一直盯着程序。所以本文将介绍如何编写一个监控程序来监控大模型的训练，以方便我们在大模型训练出现异常时及时通知给我们。 监控的方式有很多，这里介绍两个方式。 根据lo 阅读全文

摘要： Linux nohup命令详解 我们自己笔记本或台式机的显卡往往不能支持我们进行深度学习实验或大模型训练，因此我们往往使用SSH连接服务器然后去运行代码。 有的时候我们跑的程序需要跑几个小时甚至几天，这样我们就需要一直开着电脑挂着SSH；偶尔也会遇上网络断开，程序半途中止的情况。 所以，我们需要一个 阅读全文

摘要： RAG实战5-自定义prompt 在阅读本文之前，先阅读RAG实战4。在RAG实战4中我们分析了LlamaIndex中RAG的执行过程，同时留下了一个尚待解决的问题：LlamaIndex中提供的prompt template都是英文的，该如何使用中文的prompt template呢？ 直接看以下代 阅读全文

摘要： 自我认知微调 我们期望微调后的大模型是专属于我们自己的。比如询问大模型是谁或由谁训练的，大模型应当回复是由我们训练的。可以使用自我认知微调来实现这一点。自我认知微调与之前实践过的全参微调和LoRA微调并没有本质上的区别，我们既可以使用任意的微调方式来实现自我认知微调。区别在于，自我认知微调需要使用专 阅读全文

摘要： RAG实战4-RAG过程中发生了什么？ 在RAG实战3中我们介绍了如何追踪哪些文档片段被用于检索增强生成，但我们仍不知道RAG过程中到底发生了什么，为什么大模型能够根据检索出的文档片段进行回复？本文将用一个简单的例子来解释前面的问题。 在阅读本文之前，请先阅读RAG实战3。 回答：为什么大模型能够根 阅读全文

摘要： 基于SWIFT和Qwen1.5-14B-Chat进行大模型LoRA微调测试 环境准备 基础环境 操作系统：Ubuntu 18.04.5 LTS (GNU/Linux 3.10.0-1127.el7.x86_64 x86_64) Anaconda3：Anaconda3-2023.03-1-Linux- 阅读全文

摘要： RAG实战3-如何追踪哪些文档片段被用于检索增强生成 本文是RAG实战2-如何使用LlamaIndex存储和读取embedding向量的续集，在阅读本文之前请先阅读前篇。 在前篇中，我们介绍了如何使用LlamaIndex存储和读取embedding向量。在本文中，我们将介绍在LlamaIndex中如 阅读全文

摘要： RAG实战2-如何使用LlamaIndex存储和读取embedding向量 本文是检索增强生成(Retrieval-augmented Generation,RAG)实战1-基于LlamaIndex构建第一个RAG应用的续集，在阅读本文之前请先阅读前篇。 在前篇中，我们介绍了如何使用LlamaInd 阅读全文

摘要： 基于SWIFT和Qwen1.5-14B-Chat进行大模型全参微调测试 环境准备 基础环境 操作系统：Ubuntu 18.04.5 LTS (GNU/Linux 3.10.0-1127.el7.x86_64 x86_64) Anaconda3：Anaconda3-2023.03-1-Linux-x8 阅读全文