随笔分类 -  A---pytorch框架

摘要:视频讲解 直接看这个-->Github 导包: import re import math import torch import numpy as np from random import * import torch.nn as nn import torch.optim as optim i 阅读全文
posted @ 2020-08-25 00:46 douzujun 阅读(2225) 评论(0) 推荐(0)
摘要:https://www.cnblogs.com/linzhenyu/p/13277552.html 阅读全文
posted @ 2020-08-20 16:32 douzujun 阅读(480) 评论(0) 推荐(0)
摘要:摘抄 1. 爬取京东商品评论 JD.py import requests from urllib.parse import quote from urllib.parse import urlencode from lxml import etree import logging import js 阅读全文
posted @ 2020-08-19 22:33 douzujun 阅读(1959) 评论(2) 推荐(0)
摘要:笔记摘抄 Transformer模型(文本分类仅用到Encoder部分): 1. 数据预处理 和上一个博客https://www.cnblogs.com/douzujun/p/13511237.html中的数据和预处理都一致。 import numpy as np import torch from 阅读全文
posted @ 2020-08-17 21:06 douzujun 阅读(4585) 评论(3) 推荐(1)
摘要:摘抄笔记 语料链接:https://pan.baidu.com/s/1aDIp3Hxw-Xuxcx-lQ_0w9A 提取码:hpg7 train.txt pos/neg各500条,一共1000条(用于训练模型) dev.txt pos/neg各100条,一共200条(用于调参数) test.txt 阅读全文
posted @ 2020-08-16 00:46 douzujun 阅读(12612) 评论(5) 推荐(1)
摘要:https://blog.csdn.net/qq_40210472/article/details/87895626 1. nn.Conv2d nn.Conv2d 输入信号的形式为(N, Cin, H, W), N表示batch size,Cin​表示channel个数,H,W分别表示特征图的高和宽 阅读全文
posted @ 2020-08-10 23:05 douzujun 阅读(1690) 评论(0) 推荐(0)
摘要:1. 创建vocabulary 学习词向量的概念 用Skip-thought模型训练词向量 学习使用PyTorch dataset 和 dataloader 学习定义PyTorch模型 学习torch.nn中常见的Module Embedding 学习常见的PyTorch operations bm 阅读全文
posted @ 2020-08-03 22:16 douzujun 阅读(2560) 评论(0) 推荐(0)
摘要:https://www.jianshu.com/p/8ea7fba72673 https://pytorch.org/tutorials/beginner/data_loading_tutorial.html num_works设置过高出错(多线程错误,使用gpu就没事了) https://blog 阅读全文
posted @ 2020-08-03 18:25 douzujun 阅读(3124) 评论(0) 推荐(0)
摘要:output = torch.max(x,dim=1) input输入的是一个tensor dim是max函数索引的维度0/1,0是每列的最大值,1是每行的最大值 返回的是两个值:一个是每一行最大值的tensor组,另一个是最大值所在的位置 max_col_value = torch.max(x,d 阅读全文
posted @ 2020-08-03 17:50 douzujun 阅读(965) 评论(0) 推荐(0)
摘要:参考: https://pytorch.org/docs/stable/nn.html https://github.com/apachecn/pytorch-doczh/blob/master/docs/1.0/blitz_data_parallel_tutorial.md https://blo 阅读全文
posted @ 2020-08-03 15:30 douzujun 阅读(3372) 评论(0) 推荐(0)
摘要:1. 数据集 import numpy as np import torch from torch import nn, optim from torchtext import data, datasets import numpy as np import torch from torch imp 阅读全文
posted @ 2020-07-25 00:26 douzujun 阅读(1294) 评论(0) 推荐(0)
摘要:打开Google的Colab 运行: !pip install torch !pip install torchtext !pip install torchvision # K80 gpu for 12 hours import torch from torch import nn, optim 阅读全文
posted @ 2020-07-24 22:38 douzujun 阅读(813) 评论(0) 推荐(0)
摘要:笔记摘抄 提前安装torchtext和scapy,运行下面语句(压缩包地址链接:https://pan.baidu.com/s/1_syic9B-SXKQvkvHlEf78w 提取码:ahh3): pip install torchtext pip install scapy pip install 阅读全文
posted @ 2020-07-24 20:46 douzujun 阅读(3073) 评论(0) 推荐(0)
摘要:LSTM详解 LSTM实现 笔记摘抄 1. nn.LSTM 1.1 lstm=nn.LSTM(input_size, hidden_size, num_layers) lstm=nn.LSTM(input_size, hidden_size, num_layers) 参数: input_size:输 阅读全文
posted @ 2020-07-24 17:27 douzujun 阅读(2769) 评论(0) 推荐(0)
摘要:笔记摘抄 1. 问题描述 已知 [k, k+n)时刻的正弦函数,预测 [k+t, k+n+t)时刻的正弦曲线。 因为每个时刻曲线上的点是一个值,即feature_len=1 如果给出50个时刻的点,即seq_len=50 如果只提供一条曲线供输入,即batch=1 输入的shape=[seq_len 阅读全文
posted @ 2020-07-23 23:17 douzujun 阅读(1192) 评论(0) 推荐(0)
摘要:笔记摘抄 1. 词嵌入 nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weigh 阅读全文
posted @ 2020-07-23 16:19 douzujun 阅读(2071) 评论(0) 推荐(1)
摘要:1. nn.Linear() nn.Linear():用于设置网络中的全连接层,需要注意的是全连接层的输入与输出都是二维张量 一般形状为[batch_size, size],不同于卷积层要求输入输出是四维张量。其用法与形参说明如下: in_features指的是输入的二维张量的大小,即输入的[bat 阅读全文
posted @ 2020-07-23 16:15 douzujun 阅读(55946) 评论(0) 推荐(7)
摘要:https://blog.csdn.net/Answer3664/article/details/99460175 requires_grad=True 要求计算梯度 requires_grad=False 不要求计算梯度 with torch.no_grad()或者@torch.no_grad() 阅读全文
posted @ 2020-07-23 02:19 douzujun 阅读(7263) 评论(0) 推荐(1)
摘要:ResNet图解 nn.Module详解 1. Pytorch上搭建ResNet-18 1.1 ResNet block子模块 import torch from torch import nn from torch.nn import functional as F class ResBlk(nn 阅读全文
posted @ 2020-07-22 15:50 douzujun 阅读(1917) 评论(3) 推荐(0)
摘要:1. 数据增强 比如,你遇到的一个任务,目前只有小几百的数据,然而目前流行的最先进的神经网络都是成千上万的图片数据,可以通过数据增强来实现。 卷积神经网络非常容易出现过拟合的问题,而数据增强的方法是对抗过拟合问题的一个重要方法。 常用的数据增强手段: Flip(翻转) Rotation(旋转) Sc 阅读全文
posted @ 2020-07-22 14:05 douzujun 阅读(865) 评论(0) 推荐(0)