随笔分类 -  深度学习

大模型应用 搭建本地知识库
摘要：本文将讲述如何在本地部署大模型服务，并使用Embeeding、向量数据库和LangChain构建本地知识库 本地部署LLM 通常使用LangChain会去调用OpenAI的服务，但是我们在使用OpenAI服务时，但经常会遇到很多阻力，比如付费、网络不稳定等。因此我们可以在下载一个较小的大模型到本地， 阅读全文
posted @ 2024-01-21 22:09 N3ptune 阅读(4829) 评论(0) 推荐(3)
分布式机器学习(Parameter Server)
摘要：分布式机器学习中，参数服务器(Parameter Server)用于管理和共享模型参数，其基本思想是将模型参数存储在一个或多个中央服务器上，并通过网络将这些参数共享给参与训练的各个计算节点。每个计算节点可以从参数服务器中获取当前模型参数，并将计算结果返回给参数服务器进行更新。 为了保持模型一致性，通 阅读全文
posted @ 2023-05-27 20:41 N3ptune 阅读(1894) 评论(0) 推荐(0)
基于深度强化学习(DQN)的迷宫寻路算法
摘要：QLearning方法有着明显的局限性，当状态和动作空间是离散的且维数不高时可使用Q-Table存储每个状态动作的Q值，而当状态和动作时高维连续时，该方法便不太适用。可以将Q-Table的更新问题变成一个函数拟合问题，通过更新参数θ使得Q函数逼近最优Q值。DL是解决参数学习的有效方法，可以通过引进D 阅读全文
posted @ 2023-04-22 22:09 N3ptune 阅读(4599) 评论(1) 推荐(1)
Pytorch实现分类器
摘要：本文实现两个分类器: softmax分类器和感知机分类器 ## Softmax分类器 Softmax分类是一种常用的多类别分类算法，它可以将输入数据映射到一个概率分布上。Softmax分类首先将输入数据通过线性变换得到一个向量，然后将向量中的每个元素进行指数函数运算，最后将指数运算结果归一化得到一个 阅读全文
posted @ 2023-04-17 15:01 N3ptune 阅读(333) 评论(0) 推荐(1)
Pytorch实践模型训练(损失函数)
摘要：一个深度学习项目包括了: 模型设计、损失函数设计、梯度更新方法、模型保存和加载和模型训练，其中损失函数就像一把衡量模型学习效果的尺子，训练模型的过程就是优化损失函数的过程，模型拿到数据之后有一个非常重要的环节: 将模型自己的判断结果和数据真实的情况做比较，如果偏差或者差异特别大，那么模型就要去纠正自 阅读全文
posted @ 2022-08-01 11:03 N3ptune 阅读(445) 评论(0) 推荐(0)
PyTorch实践模型训练(Torchvision)
摘要：模型训练的开发过程可以看作是一套完整的生产流程，这些环节包括: 数据读取、网络设计、优化方法与损失函数的选择以及一些辅助的工具等，TorchVision是一个和PyTorch配合使用的Python包，包含很多图像处理工具 PyTorch中的数据读取 模型训练开始的第一步就是数据读取，PyTorch提 阅读全文
posted @ 2022-07-30 09:43 N3ptune 阅读(998) 评论(0) 推荐(0)