随笔列表第6页 - douzujun

2020年8月3日

摘要： output = torch.max(x,dim=1) input输入的是一个tensor dim是max函数索引的维度0/1，0是每列的最大值，1是每行的最大值返回的是两个值：一个是每一行最大值的tensor组，另一个是最大值所在的位置 max_col_value = torch.max(x,d 阅读全文

posted @ 2020-08-03 17:50 douzujun 阅读(919) 评论(0) 推荐(0) 编辑

pytorch利用多个GPU并行计算

摘要：参考： https://pytorch.org/docs/stable/nn.html https://github.com/apachecn/pytorch-doczh/blob/master/docs/1.0/blitz_data_parallel_tutorial.md https://blo 阅读全文

posted @ 2020-08-03 15:30 douzujun 阅读(3312) 评论(0) 推荐(0) 编辑

2020年8月2日

CS224N 2019 自然语言处理（一）自然语言处理库gensim之Word2vec

摘要：笔记摘抄 1. WordNet显示同义词 from nltk.corpus import wordnet as wn # 同义词 poses = {'n': 'noun', 'v': 'verb', 's': 'adj(s)', 'a': 'adj', 'r': 'adv'} for synset 阅读全文

posted @ 2020-08-02 18:01 douzujun 阅读(383) 评论(0) 推荐(0) 编辑

2020年7月28日

python转LaTeX

摘要： !rm -rf latexify_py !git clone https://github.com/odashi/latexify_py -b develop !pip install -e latexify_py # Before running following cells, restart 阅读全文

posted @ 2020-07-28 18:22 douzujun 阅读(829) 评论(0) 推荐(0) 编辑

2020年7月25日

PyTorch在NLP任务中使用预训练词向量

摘要： 1. 数据集 import numpy as np import torch from torch import nn, optim from torchtext import data, datasets import numpy as np import torch from torch imp 阅读全文

posted @ 2020-07-25 00:26 douzujun 阅读(1217) 评论(0) 推荐(0) 编辑

2020年7月24日

使用Google的Colab+pytorch

摘要：打开Google的Colab 运行： !pip install torch !pip install torchtext !pip install torchvision # K80 gpu for 12 hours import torch from torch import nn, optim 阅读全文

posted @ 2020-07-24 22:38 douzujun 阅读(767) 评论(0) 推荐(0) 编辑

深度学习与Pytorch入门实战（十六）情感分类实战（基于IMDB数据集）

摘要：笔记摘抄提前安装torchtext和scapy，运行下面语句（压缩包地址链接：https://pan.baidu.com/s/1_syic9B-SXKQvkvHlEf78w 提取码：ahh3）： pip install torchtext pip install scapy pip install 阅读全文

posted @ 2020-07-24 20:46 douzujun 阅读(2602) 评论(0) 推荐(0) 编辑

深度学习与Pytorch入门实战（十五）LSTM

摘要： LSTM详解 LSTM实现笔记摘抄 1. nn.LSTM 1.1 lstm=nn.LSTM(input_size, hidden_size, num_layers) lstm=nn.LSTM(input_size, hidden_size, num_layers) 参数： input_size：输阅读全文

posted @ 2020-07-24 17:27 douzujun 阅读(2347) 评论(0) 推荐(0) 编辑

2020年7月23日

深度学习与Pytorch入门实战（十四）时间序列预测

摘要：笔记摘抄 1. 问题描述已知 [k, k+n)时刻的正弦函数，预测 [k+t, k+n+t)时刻的正弦曲线。因为每个时刻曲线上的点是一个值，即feature_len=1 如果给出50个时刻的点，即seq_len=50 如果只提供一条曲线供输入，即batch=1 输入的shape=[seq_len 阅读全文

posted @ 2020-07-23 23:17 douzujun 阅读(1114) 评论(0) 推荐(0) 编辑

深度学习与Pytorch入门实战（十三）RNN

摘要：笔记摘抄 1. 词嵌入 nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False, _weigh 阅读全文

posted @ 2020-07-23 16:19 douzujun 阅读(1598) 评论(0) 推荐(1) 编辑

PyTorch的nn.Linear()详解

摘要： 1. nn.Linear() nn.Linear()：用于设置网络中的全连接层，需要注意的是全连接层的输入与输出都是二维张量一般形状为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下： in_features指的是输入的二维张量的大小，即输入的[bat 阅读全文

posted @ 2020-07-23 16:15 douzujun 阅读(53983) 评论(0) 推荐(6) 编辑

Pytorch中with torch.no_grad()或@torch.no_grad() 用法

摘要： https://blog.csdn.net/Answer3664/article/details/99460175 requires_grad=True 要求计算梯度 requires_grad=False 不要求计算梯度 with torch.no_grad()或者@torch.no_grad() 阅读全文

posted @ 2020-07-23 02:19 douzujun 阅读(7156) 评论(0) 推荐(1) 编辑

2020年7月22日

深度学习与Pytorch入门实战（十二）实现ResNet-18并在Cifar-10数据集上进行验证

摘要： ResNet图解 nn.Module详解 1. Pytorch上搭建ResNet-18 1.1 ResNet block子模块 import torch from torch import nn from torch.nn import functional as F class ResBlk(nn 阅读全文

posted @ 2020-07-22 15:50 douzujun 阅读(1429) 评论(2) 推荐(0) 编辑

深度学习与Pytorch入门实战（十一）数据增强

摘要： 1. 数据增强比如，你遇到的一个任务，目前只有小几百的数据，然而目前流行的最先进的神经网络都是成千上万的图片数据，可以通过数据增强来实现。卷积神经网络非常容易出现过拟合的问题，而数据增强的方法是对抗过拟合问题的一个重要方法。常用的数据增强手段： Flip（翻转） Rotation（旋转） Sc 阅读全文

posted @ 2020-07-22 14:05 douzujun 阅读(745) 评论(0) 推荐(0) 编辑

2020年7月21日

深度学习与Pytorch入门实战（十）ResNet&nn.Module

摘要：摘抄 1. ResNet 2. nn.Module 在PyTorch中nn.Module类是用于定义网络中前向结构的父类当要定义自己的网络结构时就要继承这个类现有的那些类式接口（如nn.Linear、nn.BatchNorm2d、nn.Conv2d等）也是继承这个类的 nn.Module类阅读全文

posted @ 2020-07-21 23:00 douzujun 阅读(1064) 评论(0) 推荐(0) 编辑

深度学习与Pytorch入门实战（九）卷积神经网络&Batch Norm

摘要：笔记摘抄 1. 卷积层 1.1 torch.nn.Conv2d() 类式接口 torch.nn.Conv2d(self, in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=T 阅读全文

posted @ 2020-07-21 00:23 douzujun 阅读(1130) 评论(0) 推荐(0) 编辑

2020年7月17日

博客园markdown插入视频

摘要： <video id="video" controls="" preload="none" poster="https://blog-static.cnblogs.com/files/douzujun/logisticRegression.js" type="video/mp4"> <source i 阅读全文

posted @ 2020-07-17 00:38 douzujun 阅读(676) 评论(0) 推荐(0) 编辑

2020年7月16日

深度学习与Pytorch入门实战（八）数据集划分&正则化方法

摘要：笔记摘抄 1. 训练集&验证集&测试集训练集：训练数据验证集：验证不同算法（比如，利用网格搜索对超参数进行调整等），检验哪种更有效测试集：正确评估分类器的性能正常流程：验证集会记录每个时间戳的参数在加载test数据前会加载那个最好的参数，再来评估。比方说训练完6000个epoch后，发阅读全文

posted @ 2020-07-16 22:55 douzujun 阅读(871) 评论(0) 推荐(0) 编辑

深度学习与Pytorch入门实战（七）Visdom可视化工具【数字识别实例】

摘要：笔记摘抄 1. 安装visdom 安装教程 2. 开启监听进程 python -m visdom.server 3. 访问用chrome浏览器访问url连接：http://localhost:8097 4. 可视化训练在之前定义网络结构（参考上一节）的基础上加上Visdom可视化。在训练-测试阅读全文

posted @ 2020-07-16 19:07 douzujun 阅读(692) 评论(0) 推荐(0) 编辑

深度学习与Pytorch入门实战（六）定义MLP&GPU加速&测试【数字识别实例】

摘要：笔记摘抄 Pytorch定义网络结构识别手写数字，可以对网络中的参数w和b进行手动定义的(参考上一节) 也可以直接用 nn.Linear 定义层的方式来定义更加方便的方式是直接继承 nn.Module 来定义自己的网络结构。 1. nn.Linear方式 import torch import t 阅读全文

posted @ 2020-07-16 15:55 douzujun 阅读(999) 评论(0) 推荐(0) 编辑

深度学习与Pytorch入门实战（五）分类问题以及优化【数字识别实例】

摘要：笔记摘抄 1. 分类问题 1.1 二分类 $f:x\rightarrow p(y=1|x)$ $p(y=1|x)$：解释成给定x，求y=1的概率，如果概率>0.5，预测为1；否则，预测为0 $p_{\theta}(y|x)$：给定x，输出预测值的概率 $p_{r}(y|x)$：给定阅读全文

posted @ 2020-07-16 01:20 douzujun 阅读(1007) 评论(0) 推荐(0) 编辑

2020年7月14日

深度学习与Pytorch入门实战（四）反向传播梯度

摘要：笔记摘自 1. 感知机单层感知机： import torch from torch.nn import functional as F x = torch.randn(1,10) w = torch.randn(1,10,requires_grad=True) o = torch.sigmoid( 阅读全文

posted @ 2020-07-14 17:54 douzujun 阅读(415) 评论(0) 推荐(0) 编辑

深度学习与Pytorch入门实战（三）激活函数及梯度

摘要：笔记摘抄 1. 激活函数图片来源 # 激活函数 z1 = torch.linspace(-100,100,10) print(z1) # tensor([-100.0000, -77.7778, -55.5556, -33.3333, -11.1111, 11.1111, 33.3333, 55. 阅读全文

posted @ 2020-07-14 01:15 douzujun 阅读(508) 评论(0) 推荐(0) 编辑

【邱希鹏】nndl-chap3-逻辑回归&softmax

摘要： 1. 逻辑回归解决二分类问题 1.1 生成数据集 '+' 从高斯分布采样 (X, Y) ~ N(3, 6, 1, 1, 0). 'o' 从高斯分布采样 (X, Y) ~ N(6, 3, 1, 1, 0) import tensorflow as tf import matplotlib.pyplot 阅读全文

posted @ 2020-07-14 01:10 douzujun 阅读(1035) 评论(0) 推荐(1) 编辑

2020年7月11日

【邱希鹏】神经网络与深度学习课后习题-chap2

摘要： 1. 分析为什么平方损失函数不适用于分类问题. 答: 分类问题中的标签，是没有连续的概念的。每个标签之间的距离也是没有实际意义的，所以预测值和标签两个向量之间的平方差这个值不能反应分类这个问题的优化程度。假设分类问题的类别是1,2,3 那么对于一个真实类别为2的样本X，模型的分类结果是 1 或阅读全文

posted @ 2020-07-11 21:57 douzujun 阅读(2494) 评论(0) 推荐(0) 编辑

深度学习与Pytorch入门实战（二）Pytorch张量高阶操作

摘要：笔记摘抄 1. Broadcasting Broadcasting能够实现 **Tensor自动维度增加（unsqueeze）**与维度扩展（expand）使两个Tensor的shape一致，从而完成某些操作，主要步骤：从最后面的维度开始匹配（一般后面理解为小维度）；在前面插入若干维度，进行阅读全文

posted @ 2020-07-11 19:38 douzujun 阅读(582) 评论(0) 推荐(0) 编辑

深度学习与Pytorch入门实战（一）Pytorch张量操作

摘要： 1. 数据类型如何表示string? One-hot [0, 1, 0, 0, ...] Embedding Word2vec glove 类型推断 import torch # type check a = torch.randn(2, 3) print(a.type()) #torch.Flo 阅读全文

posted @ 2020-07-11 00:10 douzujun 阅读(821) 评论(0) 推荐(0) 编辑

【邱希鹏】nndl-chap2-linear_regression

摘要：线性回归问题描述有一个函数，使得。现在不知道函数 $f(\cdot)$的具体形式，给定满足函数关系的一组训练样本，请使用线性回归模型拟合出函数$y=f(x)$。 (可尝试一种或几种不同的基函数，如多项式、高斯或sigmoid基函数）数据集根据某种函数关系生成的train 和test 数据阅读全文

posted @ 2020-07-11 00:08 douzujun 阅读(1464) 评论(0) 推荐(0) 编辑

2020年7月10日

【邱希鹏】nndl-chap1-warmup

摘要： 1. numpy 的array操作 # 1. 导入numpy库 import numpy as np # 2.建立一个一维数组 a 初始化为[4,5,6], # (1) 输出a 的类型（type） # (2) 输出a的各维度的大小（shape） # (3) 输出 a的第一个元素（值为4） a = n 阅读全文

posted @ 2020-07-10 23:05 douzujun 阅读(451) 评论(0) 推荐(0) 编辑

2020年7月8日

【Deeplearning.ai 】吴恩达深度学习笔记及课后作业目录

摘要：吴恩达深度学习课程的课堂笔记以及课后作业代码下载：https://github.com/douzujun/Deep-Learning-Coursera 吴恩达推荐笔记：https://mp.weixin.qq.com/s/cX9_DiqofPhdXrY_0oTEAw 课程1 - 神经网络和深度学习阅读全文

posted @ 2020-07-08 00:47 douzujun 阅读(10154) 评论(3) 推荐(2) 编辑

douzi

公告