随笔分类 - 深度学习
摘要：前言 损失函数通常被称作优化问题的目标函数（objective function），是一个基于训练数据集的损失函数，优化的目标在于降低训练误差。依据惯例，优化算法通常只考虑最小化目标函数。其实，任何最大化问题都可以很容易地转化为最小化问题，只需令目标函数的相反数为新的目标函数即可。 为了求得最小化目
阅读全文
摘要：论文：《Image-to-Image Translation with Conditional Adversarial Networks》 发表日期：2017 CVPR 前言 pix2pix是cGAN的一个变体，能够实现从图像到图像的映射，在从标签映射合成照片、从边缘映射重建对象、图片上色等多类人物
阅读全文
摘要：论文：《UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS》 发表日期：ICLR 2016 前言 这几年CNNs在计算机视觉应用的监督学习方面的应用广泛，而在非监督学
阅读全文
摘要：论文：《Conditional Generative Adversarial Nets》 年份：2014年 引言 原始的GAN过于自由，训练会很容易失去方向，导致不稳定且效果差。比如说GAN生成MNIST数字的过程，虽然可以生成数字，但生成的结果是随机的（因为是根据输入的随机噪声生成的图片），没有办
阅读全文
摘要：摘要 GAN的训练需要图片是两两匹配的，这样经过训练后，生成器可以逐步生成一张让判别期无法判断真伪的图片。但实际上会碰到一些非匹配的图片，于是就提出了非匹配的图片转换(Unpaired image-to-image)，一种在没有成对例子的情况下学习将图像从源域X转换到目标域Y的方法。使得 \[ x
阅读全文
摘要：什么是GAN 生成对抗网络（GAN）是一种由生成网络和判别网络组成的深度神经网络架构。通过在生成和判别之间的多次循环，两个网络相互对抗，继而两者性能逐步提升。 生成网络 生成网络（Generator Network）借助现有的数据来生成新数据，比如使用从随机产生的一组数字向量（称为潜在空间 late
阅读全文
摘要：本文主要解决如何将CAIL2019阅读理解数据json文件，并对数据内容进行基础分析，然后进行分词等操作。 数据预处理 首先引入需要的库吧，以后一定会用到的。 读取文件并分析 看了很多获胜者的分享，第一步无非都是要先看看数据集的规模，有哪些可能的特征。 因此我的第一步是读取文件内容，并进行简单的数据
阅读全文
摘要：图像增强 图像增广（image augmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力。例如，我们可以对图像进行不同方式的裁剪，使感兴趣的物体出
阅读全文
摘要：word2vec WordEmbedding 对词汇进行多维度的描述，形成一个密集的矩阵。这样每两个词之间的相似性可以通过进行内积的大小体现出来。越大说明距离越远，则越不相似。 Analogies（类比）：将男 女和国王 女王做类比，比如将表示‘男’的词向量与‘女’的词向量相减，同理国王和女王也相减
阅读全文
摘要：批量归一化 通常来说，数据标准化预处理对于浅层模型就足够有效了。随着模型训练的进行，当每层中参数更新时，靠近输出层的输出较难出现剧烈变化。但对深层神经网络来说，即使输入数据已做标准化， 训练中模型参数的更新依然很容易造成靠近输出层输出的剧烈变化 。这种计算数值的不稳定性通常令我们难以训练出有效的深度
阅读全文
摘要：MachineTranslation 实现过程 rstrip()：删除 string 字符串末尾的指定字符（默认为空格）。 语法：str.rstrip([chars]) 参数：chars 指定删除的字符（默认为空格） 返回值：返回删除 string 字符串末尾的指定字符后生成的新字符串 torcht
阅读全文
摘要：循环神经网络进阶 BPTT 反向传播过程中，训练模型通常需要模型参数的梯度。 $$ \frac{\partial L}{\partial \boldsymbol{W}_{qh}} = \sum_{t=1}^T \text{prod}\left(\frac{\partial L}{\partial \
阅读全文
摘要：文本预处理 实现步骤（处理语言模型数据集距离） 文本预处理的实现步骤 读入文本：读入zip / txt 等数据集 分词：把换行符替换成空格。如果处理的是英文，最好把大写改成小写。（因为第一次接触文本处理，理解的都很浅显） 建立字典，将每个词映射到一个唯一的索引（index）：将每个字符映射成一个从0
阅读全文
摘要：线性回归 基础知识 实现过程 学习笔记 批量读取 torch_data = Data.TensorDataset(features, labels) dataset = Data.DataLoader(torch_data, batch_size, shuffle=True) 定义模型的两种常见写法
阅读全文
摘要：squeeze的用法主要就是对数据的维度进行压缩或者解压。 squeeze() ：去掉a中维数为1的维度。 ：去掉特定维度N下维数为1的维度。 ：a中去掉指定的维数为1的维度。 unsqueeze() ：在a中指定位置N加上一个维数为1的维度。 ：在a中指定位置N加上一个维数为1的维度。
阅读全文
摘要：CNN原理和结构 观点提出 关于照片的三种观点引出了CNN的作用。 1. 局部性：某一特征只出现在一张image的局部位置中。 2. 相同性： 同一特征重复出现。例如鸟的羽毛。 3. 不变性：subsampling下图片性质不变。类似于图片压缩。 相比与Fully Connected，减少了权重数目
阅读全文
摘要：1. Numpy VS Torch 2. Variable 3. Activation Function 激励函数 画图 4. Regression 回归 5. Classification 分类 6. 快速搭建法 7. 保存提取 使用两种方式提取整个神经网络：提取整个网络或只提取参数。 两段式声明
阅读全文
摘要：步骤一 首先访问下面的网站，手工下载数据集。http://yann.lecun.com/exdb/mnist/ 把四个压缩包下载到任意文件夹，以便之后使用。 步骤二 把自己电脑上已经下载好的数据集的文件路径放到浏览器的窗口。 直接输入 会自行跳转 步骤三 跳转至mnist.py，把源代码中的reso
阅读全文
浙公网安备 33010602011771号