随笔分类 - 深度学习
深度学习的学习经验
摘要：在深度学习中，量化指的是使用更少的bit来存储原本以浮点数存储的tensor，以及使用更少的bit来完成原本以浮点数完成的计算。这么做的好处主要有如下几点： 更少的模型体积，接近4倍的减少； 可以更快的计算，由于更少的内存访问和更快的int8计算，可以快2~4倍。 一个量化后的模型，其部分或者全部的
阅读全文
摘要：TensorFlow Lite 是 TensorFlow 在移动和 IoT 等边缘设备端的解决方案，提供了 Java、Python 和 C++ API 库，可以运行在 Android、iOS 和 Raspberry Pi 等设备上。目前 TFLite 只提供了推理功能，在服务器端进行训练后，经过如下
阅读全文
摘要：其实模型的参数量好算，但浮点运算数并不好确定，我们一般也就根据参数量直接估计计算量了。但是像卷积之类的运算，它的参数量比较小，但是运算量非常大，它是一种计算密集型的操作。反观全连接结构，它的参数量非常多，但运算量并没有显得那么大。 FLOPs(Floating-point Operations)：浮
阅读全文
摘要：前言 至于为什么写这个教程，首先是为了自己学习做个记录，其次是因为Tensorflow的API写的很好，但是他的教程写的太乱了，不适合新手学习。tensorflow 1 和tensorflow 2 有相似之处但是不兼容，tensorflow 2将keras融合了。TensorFlow™ 是一个采用
阅读全文
摘要：2013年 word Embedding 2017年 Transformer 2018年 ELMo、Transformer-decoder、GPT-1、BERT 2019年 Transformer-XL、XLNet、GPT-2 2020年 GPT-3 Transformer 谷歌提出的Transfo
阅读全文
摘要：作为一个AI工程师，对Linux的一些技能的掌握也能从一定层面反应工程师的资深水平。 要求1：基于SSH的远程访问（本篇文章） 能用一台笔记本电脑，远程登陆一台linux服务器 能随时使用笔记本电脑启动训练任务 能熟练的让代码和文件在笔记本电脑与LINUX服务器之间的传输 要求2：Linux系统的文
阅读全文
摘要：TensorFlow Lite 开源企业：谷歌 GitHub地址：https://github.com/tensorflow/tflite-micro TensorFlow Lite for Microcontrollers 是TensorFlow Lite的实验端口，旨在在只有千字节内存的微控制器
阅读全文
摘要：深度神经网络在人工智能的应用中，包括语音识别、计算机视觉、自然语言处理等各方面，在取得巨大成功的同时，这些深度神经网络需要巨大的计算开销和内存开销，严重阻碍了资源受限下的使用。模型压缩是对已经训练好的深度模型进行精简，进而得到一个轻量且准确率相当的网络，压缩后的网络具有更小的结构和更少的参数，可以有
阅读全文
摘要：引言 深度神经网络模型被广泛应用在图像分类、物体检测等机器视觉任务中，并取得了巨大成功。然而，由于存储空间和功耗的限制，神经网络模型在嵌入式设备上的存储与计算仍然是一个巨大的挑战。 目前工业级和学术界设计轻量化神经网络模型主要有4个方向： 人工设计轻量化神经网络模型 基于神经网络架构搜索（Neura
阅读全文
摘要：Group convolution Group convolution最早出现在AlexNet中，是为了解决单卡显存不够，将网络部署到多卡上进行训练而提出。Group convolution可以减少单个卷积1/g的参数量。如何计算的呢？ 假设 输入特征的的维度为$HWC_1$; 卷积核的维度为$
阅读全文
摘要：大名鼎鼎的UNet和我们经常看到的编解码器模型，他们的模型都是先将数据下采样，也称为特征提取，然后再将下采样后的特征恢复回原来的维度。这个特征提取的过程我们称为“下采样”，这个恢复的过程我们称为“上采样”，本文就专注于神经网络中的下采样和上采样来进行一次总结。写的不好勿怪哈。 神经网络中的降维方法
阅读全文
摘要：神经网络中最重要的就是参数了，其中包括权重项$W$和偏置项$b$。 我们训练神经网络的最终目的就是得到最好的参数，使得目标函数取得最小值。参数的初始化也同样重要，因此微调受到很多人的重视， 只列一些常用的！ Tensorflow 常数初始化 tf.constant_initializer(value
阅读全文
摘要：我最近在学使用Pytorch写GAN代码，发现有些代码在训练部分细节有略微不同，其中有的人用到了detach()函数截断梯度流，有的人没用detch()，取而代之的是在损失函数在反向传播过程中将backward(retain_graph=True)，本文通过两个 gan 的代码，介绍它们的作用，并分
阅读全文
摘要：pytorch对一下常用的公开数据集有很方便的API接口，但是当我们需要使用自己的数据集训练神经网络时，就需要自定义数据集，在pytorch中，提供了一些类，方便我们定义自己的数据集合 torch.utils.data.Dataset：所有继承他的子类都应该重写 __len()__ ， __geti
阅读全文
摘要：过拟合定义：模型在训练集上的表现很好，但在测试集和新数据上的表现很差。 训练集上的表现 测试集上的表现 结论 不好 不好 欠拟合 好 不好 过拟合 好 好 适度拟合 原因 训练数据集太小，过拟合出现的原因： 模型复杂度过高，参数过多 训练数据比较小 训练集和测试集分布不一致 样本里面的噪声数据干扰过
阅读全文
摘要：博客作者：凌逆战 博客地址：https://www.cnblogs.com/LXP-Never/p/12774058.html 文章代码：https://github.com/LXP-Never/blog_data/tree/master/tensorflow_model 我一直觉得TensorFl
阅读全文
摘要：常常会碰到各种各样时间序列预测问题，如商场人流量的预测、商品价格的预测、股价的预测，等等。TensorFlow新引入了一个TensorFlow Time Series库（以下简称为TFTS），它可以帮助在TensorFlow中快速搭建高性能的时间序列预测系统，并提供包括AR、LSTM在内的多个模型。
阅读全文
摘要：在NLP任务中，训练数据一般是一句话（中文或英文），输入序列数据的每一步是一个字母。我们需要对数据进行的预处理是：先对这些字母使用独热编码再把它输入到RNN中，如字母a表示为(1, 0, 0, 0, …,0)，字母b表示为(0, 1, 0, 0, …, 0)。如果只考虑小写字母a~z，那么每一步输入
阅读全文
摘要：Deep Dream是谷歌公司在2015年公布的一项有趣的技术。在训练好的卷积神经网络中，只需要设定几个参数，就可以通过这项技术生成一张图像。 本文章的代码和图片都放在我的github上，想实现本文代码的同学建议大家可以先把代码Download下来，再参考本文的解释，理解起来会更加方便。 疑问： 卷
阅读全文
摘要：简介 AlexNet：(2012)主要贡献扩展 LeNet 的深度，并应用一些 ReLU、Dropout 等技巧。AlexNet 有 5 个卷积层和 3 个最大池化层，它可分为上下两个完全相同的分支，这两个分支在第三个卷积层和全连接层上可以相互交换信息。它是开启了卷积神经网络做图像处理的先河。 VG
阅读全文
浙公网安备 33010602011771号