深度学习 - 随笔分类 - 我们都是大好青年

Ubuntu16.04 下有关conda虚拟环境的一些使用方法

摘要：（1）conda创建虚拟环境 conda create --name nlp python=3.6 （2）进入/退出conda创建的环境nlp #进入conda创建的环境nlp source activate nlp #退出conda创建的环境nlp source deactivate （3）查看当阅读全文

posted @ 2020-07-10 17:23 我们都是大好青年阅读(1634) 评论(0) 推荐(0)

int、int16、int32、int64、float、float16、float32、float64

摘要：在做模型量化的时候，经常遇到这几个类精度表示，做下记录：类型位 float16 半精读 2个字节 float32 float 4个字节 float64 双精度 8个字节注： bits：位数 bytes：字节 1bytes = 8 bits 单精度用小数用23位存储，加上默认的小数点前的1为1，阅读全文

posted @ 2020-07-06 17:02 我们都是大好青年阅读(13722) 评论(0) 推荐(0)

Caffe的设计、主要结构

摘要：Caffe的设计 Caffe遵循了神经网络的一个假设：所有的计算都是以layer形式表示的，layer的作用就是根据输入数据，输出一些计算以后的结果。以卷积为例，就是输入一副图像，然后与这一层的参数(filter)进行卷积运算，然后输出卷积的结果。每一个layer需要进行两种运算:（1）forwar 阅读全文

posted @ 2020-06-24 14:23 我们都是大好青年阅读(464) 评论(0) 推荐(0)

caffe依赖库简介

摘要：caffe是一个开源的深度学习框架，其实现依赖于许多其他的库，下面将分别介绍caffe所需的依赖库。（1）OpenCV OpenCV的全称是Open Source Computer Vision Library，是一个跨平台的计算机视觉库。OpenCV是由intel公司发起并参与开发，以BSD许可阅读全文

posted @ 2020-06-24 11:34 我们都是大好青年阅读(568) 评论(0) 推荐(0)

预训练(pre-training/trained)与微调(fine-tuning)

摘要：什么是预训练和微调？预训练(pre-training/trained)：你需要搭建一个网络来完成一个特定的图像分类的任务。首先，你需要随机初始化参数，然后开始训练网络，不断调整直到网络的损失越来越小。在训练的过程中，一开始初始化的参数会不断变化。当你觉得结果很满意的时候，就可以将训练模型的参数保存阅读全文

posted @ 2020-06-20 17:53 我们都是大好青年阅读(12975) 评论(0) 推荐(0)

TensorRT6.0.1: ERROR: builtin_op_importers.cpp:695 In function importBatchNormalization:

摘要：[00/13/2020-21:46:09] [E] [TRT] (Unnamed Layer* 0) [Convolution]: at least 4 dimensions are required for input While parsing node number 1 [BatchNorma 阅读全文

posted @ 2020-06-18 16:44 我们都是大好青年阅读(1907) 评论(0) 推荐(0)

深度学习--知识蒸馏介绍

摘要：以前理解的模型蒸馏就是模型“提纯”，这样说太宽泛了，应该说蒸馏是“提纯”的一种手段而已。知识蒸馏具体指：让小模型去学到大模型的知识。通俗的说，让student模型的输出接近(拟合)teacher模型的输出。知识蒸馏的重点在于拟合二字，即我们要定义一个方法去衡量student模型和teacher模阅读全文

posted @ 2020-06-15 14:21 我们都是大好青年阅读(4076) 评论(0) 推荐(0)

caffe常用层：卷积层

摘要：layer { name: "conv1_1" #表示该层的名称 type: "Convolution" #层类型 bottom: "image" #输入 top: "conv1_1" #输出 param { lr_mult: 1.0 #权值的学习率，最终的学习率是这个系数乘以solver.prot 阅读全文

posted @ 2020-05-29 17:00 我们都是大好青年阅读(232) 评论(0) 推荐(0)

caffe常用层： batchNorm层和scale层

摘要：caffe的BN层共有三个参数：均值、方差和滑动系数。 layer { bottom: "res2a_branch2b" top: "res2a_branch2b" name: "bn2a_branch2b" type: "BatchNorm" batch_norm_param { use_glob 阅读全文

posted @ 2020-05-29 16:30 我们都是大好青年阅读(1196) 评论(0) 推荐(0)

yolov3_to_onnx, onnx.onnx_cpp2py_export.check.ValidationError:Op registered for Upsample is depracted in domain_version of 10

摘要：这是yolov3-darknet模型转onnx中遇到的，是由于onnx的不同版本的接口不同导致的，常用的解决方案是更换onnx的版本，一般啥1.2.1, 1.4.1, 1.5.0根据自己的需要更换：更换过程如下，假设onnx装在python2中： (1) python2 -m pip unins 阅读全文

posted @ 2020-05-27 18:02 我们都是大好青年阅读(4226) 评论(1) 推荐(1)

分数阶最大值池化 fractional max pooling

摘要：分数阶最大值池化：就是输入和输出的维度比例可能不是整数，通常我们max pooling按kernel=(2, 2)，stride=2或kernel=(3,3),stride=2,比例大小是2，作者提出比例为分数的做法，下面描述比例属于(1,2)时的办法，其他的类似。设(Nin,Nin), (Nou 阅读全文

posted @ 2020-05-18 18:00 我们都是大好青年阅读(2101) 评论(0) 推荐(0)

caffe网络定义：lr_mult和decay_mult

摘要：通常在Caffe的网络定义中，某些layer会有如下参数： param{ lr_mult:x decay_mult:y } 当令lr_mult=x时，相当于该层的学习率为solver.prototxt中的base_lr*x; 特别地，当lr_mult=1时，相当于该层的学习率就是base_lr; 当阅读全文

posted @ 2020-05-12 14:02 我们都是大好青年阅读(538) 评论(0) 推荐(0)

在编译caffe过程中遇到的问题：libboost_python.so: undefined reference to `PyUnicode_InternFromString'

摘要：安装caffe时遇到这个错误，如下图所示：简单粗暴的解决办法，进入到libboost_python.so所在root，删除当前的libboost_python.so，再重新生成新的链接 cd /usr/lib/x86_64-linux-gnu/ sudo rm libboost_python.so 阅读全文

posted @ 2020-04-14 14:53 我们都是大好青年阅读(3253) 评论(0) 推荐(0)

CNN感受野大小计算

摘要：https://www.jianshu.com/p/9997c6f5c01e 阅读全文

posted @ 2020-04-08 11:39 我们都是大好青年阅读(320) 评论(0) 推荐(0)

基础目标检测算法介绍：CNN、RCNN、Fast RCNN、Faster RCNN、YOLO、SSD

摘要：1、解决目标检测任务的简单方法如何用一个卷积神经网络解决通用的目标检测问题：（1）首先，把图片作为输入；（2）之后，将图片分成多个区域; （3）将每个区域看作单独的图片; （4）把这些区域照片传递给CNN，将它们分到不同类别中。（5）当我们把每个区域都分到对应的类别後，再把它们结合在一起，完阅读全文

posted @ 2020-03-06 14:33 我们都是大好青年阅读(1440) 评论(0) 推荐(0)

正则化作用及其区别

摘要：L0正则化：L0是指向量中非0的个数。如果我们用L0范数来规则化一个参数矩阵W的话，就是希望W的大部分元素都是0。换句话说，让参数W是稀疏的。但不幸的是，L0范数的最优化问题是一个NP hard问题，而且理论证明，L1范数是L0范数的最优凸近似，因此通常使用L1范数来代替。 L1正则化：L1范数是指阅读全文

posted @ 2020-03-02 20:58 我们都是大好青年阅读(5381) 评论(0) 推荐(0)

YOLOV1原理、优点及不足

摘要：物体检测的两个步骤可以概括为：（1）检测目标位置（生成矩形框）（2）对目标物体进行分类物体检测的主流算法框架大致分为one-stage与two-stage。two-stage算法代表的有R-CNN系列，one-stage算法代表的有YOLO系列。按笔者理解，two-stage算法将步骤一与步骤阅读全文

posted @ 2020-02-26 20:54 我们都是大好青年阅读(4511) 评论(0) 推荐(0)

YOLOV2相对于YOLOV1的改进

摘要：1、YOLOV1有两个缺点：（1）定位不够准确。（2）和基于region proposal类的方法相比找回率更低。 2、Batch Normalization YOLOV1中也有BN，但是YOLOV2在加入BN后把dropout去掉了，实验证明可以提高2%的mAP. 3、High Resolut 阅读全文

posted @ 2020-02-25 16:16 我们都是大好青年阅读(2601) 评论(0) 推荐(0)

在训练过程中loss出现NaN的原因以及可以采取的方法

摘要：NaN的意思是not a number,不是一个数字。 1、梯度爆炸一般loss的相关量是w——> w的相关量（更新方式）是梯度——>和梯度有关原因：在学习过程中，梯度变得非常大，使得学习的过程偏离了正常的轨迹。症状：观察输出日志(runtime log)中每次迭代的loss值，你会发现los 阅读全文

posted @ 2020-02-24 18:57 我们都是大好青年阅读(9010) 评论(0) 推荐(1)

激活函数的饱和，左饱和、右饱和、软饱和、硬饱和、非饱和

摘要：阅读全文

posted @ 2020-02-24 10:10 我们都是大好青年阅读(478) 评论(0) 推荐(0)

我们都是大好青年

随笔分类 - 深度学习

公告