摘要：
VIT主要用于分类任务 一、VIT，即纯transformer模型 图1 VIT 架构 VIT模型的架构如图1所示。主要分为三个步骤： 1. 首先将输入的图片分成patches（如16*16的patch），然后将每个patch输入到Embedding层（即Linear Projection of F 阅读全文
摘要：
如图1所示，强化学习中，state是环境的状态，就是observation。 图1 强化学习 一、Policy based approach learning an actor The policy based approach is to learn an actor (agent or poli 阅读全文
摘要：
1. GAN原理 如图1、2所示，GAN包括一个生成器Generator和一个判别器Discriminator。其中，Generator是根据输入的一个vector生成一个图片，而判别器是将生成的图片输入网络，输出该图片为真实图片的概率。 图1 Generator 图2 Discriminator 阅读全文
摘要：
VAE学习总结 VAE是变分推断（variational inference ）以及自编码器（Auto-encoder）的组合，是一种非监督的生成模型。 图1 自编码器（Auto-encoder） 其中，自编码器（Auto-encoder）的结构如图1所示。由Encoder和Decoder组成，其中 阅读全文
摘要：
一、Batch Normalization（批量标准化）的介绍以及理解 在神经网络中，在每一层上，通常是将该层的输入乘以权重矩阵加上偏移值，然后将计算结果使用激活函数进行非线性变换。但是随着网络深度的增加，其激活函数的输入值（W*X+B）的分布会发生变化。 可能会向激活函数取值的饱和区域延伸（比如： 阅读全文
摘要：
卷积神经网络是一类用于处理网格化（例如：图像）的神经网络，循环神经网络是一类用于处理序列数据的神经网络。 如图1所示是最简单的RNN的网络结构。RNN的输入是前一层的一个输出和当前时刻的的输入。RNN的网络结构如图1所示： 图1 RNN网络结构 这里的U、V是相同的，即权值共享。 长期依赖问题： 经 阅读全文
摘要：
一、训练加速 多GPU训练： 1.1 基于数据的并行 模型平均（Model Average）、同步随机梯度下降（SSGD）、异步随机梯度下降（ASGD） 模型平均（Model Average） 每个Client训练平均的训练数据，每个batch更新一个模型，然后分别将模型发送给Server，Serv 阅读全文
摘要：
一、NumPy介绍 NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 NumPy是一个开源的Python科学数据库，用于快速处理任意维度的数据。NumPy支持常见的数组和矩阵操作，使用Num 阅读全文
摘要：
一、图像读入、显示和保存 1.读入图像 retval = cv2.imread(文件名[, 显示控制参数]) 显示控制参数参数如下： cv2.IMREAD_UNCHANGED cv2.IMREAD_GRAYSCALE cv2.IMREAD_COLOR …… 2.显示图像 None = cv2.ims 阅读全文