随笔分类 -  机器（深度）学习

上一页 1 2 3 4 5 下一页
处理word---docx
摘要：是 阅读全文
posted @ 2023-12-06 09:17 黑逍逍 阅读(12) 评论(0) 推荐(0)
处理XML-----xPath
摘要：xml下用xpath from lxml import etree tree = etree.parse(file_path) root = tree.getroot() title_expression = "/article/title[not(@xml:lang)]//text()" titl 阅读全文
posted @ 2023-12-04 09:45 黑逍逍 阅读(34) 评论(0) 推荐(0)
处理XML--xml.etree.ElementTree
摘要：XML文档的根元素 根元素是XML文档中所有其他元素的父元素。它是文档的起点，必须是唯一的<root> <!-- 其他元素和内容 --> </root> 介绍xml信息 属性类型意义调用 tag str Element名 Element.tag attrib dic 元素有哪些属性 Element. 阅读全文
posted @ 2023-12-01 17:30 黑逍逍 阅读(137) 评论(0) 推荐(0)
embedding嵌入
摘要：自然语言处理领域中，"embedding"（嵌入）通常指将高维的数据映射到低维空间的过程。在自然语言处理中，最常见的是词嵌入（word embeddings） 词袋模型，词嵌入等等等等。都需要构建词汇表，个人能力是很有限，根本不可能构建一个效果好的。所以我不使用这些 小型效果也不好，得到96维度的向 阅读全文
posted @ 2023-11-28 18:02 黑逍逍 阅读(47) 评论(0) 推荐(0)
torch.max
摘要：二维张量（矩阵）: 假设你有一个形状为 [m, n] 的二维张量（可以想象成一个矩阵，有 m 行和 n 列）： dim=0 指的是行的方向（从上到下）。如果你在一个函数中指定 dim=0，那么操作将沿着每一列进行，对每一列中的行元素进行处理。 dim=1 指的是列的方向（从左到右）。如果你在一个函数 阅读全文
posted @ 2023-11-28 17:17 黑逍逍 阅读(102) 评论(0) 推荐(0)
torch.cpu
摘要：将张量从GPU移到CPU上 import torch # 创建一个张量并将其放在GPU上 tensor_gpu = torch.randn((3, 3)).cuda() # 将张量从GPU移动到CPU tensor_cpu = tensor_gpu.cpu() 阅读全文
posted @ 2023-11-28 16:38 黑逍逍 阅读(68) 评论(0) 推荐(0)
torch.detach
摘要：在深度学习中，通常使用自动微分（Autograd）来计算梯度，以便进行反向传播和优化。 在这个过程中，PyTorch会构建一个计算图，用于跟踪张量之间的计算关系。这个计算图是由各个张量之间的运算所构成的，以便在进行反向传播时计算梯度。 .detach()方法的作用是创建一个新的张量，与原始张量共享相 阅读全文
posted @ 2023-11-28 16:31 黑逍逍 阅读(148) 评论(0) 推荐(0)
自动微分
摘要：张量的梯度信息 张量的梯度信息是指张量相对于某个或多个变量的导数。梯度表示了函数在某一点的变化率，它是一个向量，其中每个元素对应于函数相对于输入变量的偏导数 在深度学习中，我们通常使用梯度来更新模型参数，以便最小化或最大化某个损失函数。梯度下降是一种常见的优化算法，它使用梯度信息来沿着损失函数的负梯 阅读全文
posted @ 2023-11-28 16:15 黑逍逍 阅读(95) 评论(0) 推荐(0)
torch.add等
摘要：数学运算： a = torch.tensor([[1, 2, 3], [4, 5, 6]]) b = torch.tensor([[7, 8, 9], [10, 11, 12]]) tensor([[1, 2, 3], [4, 5, 6]]) tensor([[ 7, 8, 9], [10, 11, 阅读全文
posted @ 2023-11-28 15:02 黑逍逍 阅读(51) 评论(0) 推荐(0)
torch.cat
摘要：拼接tensor torch.cat(tensors, dim): 沿指定维度拼接张量。 tensor1 = torch.tensor([[1, 2, 3], [4, 5, 6]]) tensor2 = torch.tensor([[7, 8, 9], [10, 11, 12]]) # dim=0 阅读全文
posted @ 2023-11-28 15:01 黑逍逍 阅读(74) 评论(0) 推荐(0)
transformer结构
摘要：论文：https://arxiv.org/abs/1706.03762 理解： 位置编码之后，还要生成QKV向量，在传递到多头注意力 定义： Transformer模型一般由编码器（Encoder）和解码器（Decoder）两部分组成，每个部分都有不同的功能，因此在不同的任务中可能会选择使用其中一个 阅读全文
posted @ 2023-11-27 20:47 黑逍逍 阅读(111) 评论(0) 推荐(0)
torch.cuda
摘要：什么时候需要将计算放置在GPU，cuda上 计算量大的时候，有torch的时候 什么数据放在GPU 在 PyTorch 和其他深度学习框架中，通常只有模型的参数和输入到模型的数据（张量）需要被移动到 GPU 上 当从数据excel pandas中提取文本数据并通过分词器处理时，处理后的张量才需要被移 阅读全文
posted @ 2023-11-26 23:03 黑逍逍 阅读(91) 评论(0) 推荐(0)
nn.transformer
摘要：定义： nn.Transformer: 这是一个完整的Transformer模型，包含了编码器（Encoder）和解码器（Decoder）。这个类提供了将整个模型作为一个单一组件使用的接口。 nn.TransformerEncoder: 这是Transformer模型中编码器的部分。它由N个nn.T 阅读全文
posted @ 2023-11-26 22:39 黑逍逍 阅读(1272) 评论(0) 推荐(0)
SK都是干什么的
摘要：参考文档：非常全面的Sklearn介绍 (qq.com) scikit-learn: machine learning in Python — scikit-learn 1.3.2 documentation 分类（Classification）： 实现了多种监督学习分类算法，例如支持向量机（SVM 阅读全文
posted @ 2023-11-24 12:56 黑逍逍 阅读(70) 评论(0) 推荐(0)
torch.jit
摘要：保存模型有两种方式，方式不同，在调用模型的时候也不同 我更建议用torch.jit。。。这样不需要在写模型的参数 torch.save 保存模型： import torch import torch.nn as nn # 假设 model 是你的 PyTorch 模型 class SimpleMod 阅读全文
posted @ 2023-11-24 11:02 黑逍逍 阅读(309) 评论(0) 推荐(0)
torch.tensor
摘要：创建张量： torch.tensor(data): 从数据中创建张量。用列表创建，numpy创建 维度只看[ ] # 一维张量 一维张量是指只有一个轴的张量，没有行列之分 data_1d = [1, 2, 3] tensor_1d = torch.tensor(data_1d)结果tensor([1 阅读全文
posted @ 2023-11-23 22:03 黑逍逍 阅读(156) 评论(0) 推荐(0)
Torch张量是什么
摘要：定义： 在PyTorch中，张量（tensor）是一种类似于多维数组的数据结构，它是PyTorch的核心数据类型。和numpy的计算方式不同。 张量可以具有不同的维度，例如标量（0维张量，类似于一个数字）、向量（1维张量，类似于一维数组）、矩阵（2维张量，类似于二维数组）以及更高维度的数组。 张量的 阅读全文
posted @ 2023-11-23 20:55 黑逍逍 阅读(227) 评论(0) 推荐(0)
从显卡驱动，到pytoch的安装
摘要：有些东西，可能当时觉得理解了，实际上还是模模糊糊的 显卡驱动 最开始我的电脑上是没有nvidia的控制面板的，所以先安装的nvidia的驱动 官网： nvidia-smi 如果显示nvidia不是系统变量，说明驱动安装好了之后，没有添加到path中，将C:\Program Files\NVIDIA 阅读全文
posted @ 2023-11-20 14:54 黑逍逍 阅读(22) 评论(0) 推荐(0)
LLAMA（羊驼）介绍
摘要：开源的大模型 下载又是github 又是申请账号，可能还有代理的问题。 下载的模型是pth，还不能用，还要转换成huggingface格式。 所以直接从huggingface下载就完事了 阅读全文
posted @ 2023-11-14 23:35 黑逍逍 阅读(107) 评论(0) 推荐(0)
什么是大模型
摘要：什么是大模型 "大模型"通常指的是深度学习中参数数量庞大、层数深厚的神经网络模型。这些模型具有数十亿甚至上百亿的参数，通常需要大量的计算资源来进行训练和推断。这种规模的模型在处理复杂任务时表现得很出色，因为它们能够从大量的数据中学到更复杂、更抽象的表示。 例如，GPT-3（Generative Pr 阅读全文
posted @ 2023-11-14 22:48 黑逍逍 阅读(412) 评论(0) 推荐(0)

上一页 1 2 3 4 5 下一页