随笔分类 - 神经网络
machine learning
摘要：强化学习分为model-based, (model-freed=>policy based, value-based)，其中mode-based需要对环境进行建模，以及对神经网络后的状态和奖励建模，相对实现起来比较复杂，但是产出的样本效率高。Model-freed方法自然样本效率很低，但是简单，可以
阅读全文
摘要：RNN网络顾名思义，序列模型，因此假设input -> hidden -> output结构下，hidden layer的权重不仅从 input中得来，并且会从上一个时刻的hidden layer的权重得来，具体如图 RNN梯度消失与梯度爆炸的原因： https://zhuanlan.zhihu.c
阅读全文
摘要：离线端侧的tensorflow库在工业视觉领域是必不可少的，tensorflow官方从1.10以后就只支持bazel编译tensorflow C++源码，为了能在端侧使用tensorflow来对工业成像建模，则需要应用到tensorflow的windows dll/lib。 1.首先编译出windo
阅读全文
摘要：基于tf2.0 对Kaggel Google street view characters classify 项目练手， 熟悉一下tf2.0的新特性 tf2.0的新特性主要包含： 1. AutoGraph, 也就是在python function上添加装饰器@tf.function把其变成静态图，
阅读全文
摘要：首先回顾一下交叉熵: Softmax层的作用是把输出变成概率分布，假设神经网络的原始输出为y1,y2,….,yn，那么经过Softmax回归处理之后的输出为： 交叉熵刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出(correct
阅读全文
摘要：目标检测中，会有大量的负样本，也就是背景样本，如果使得正样本对loss的影响更大，是focal loss提出来解决的方案。 作者以二分类为例进行说明： 首先是我们常使用的交叉熵损失函数： 要对类别不均衡问题对loss的贡献进行一个控制，即加上一个控制权重即可，最初作者的想法即如下这样，对于属于少数类
阅读全文
摘要：GoogleNet的发展 Inception V1： Inception V1中精心设计的Inception Module提高了参数的利用率；nception V1去除了模型最后的全连接层，用全局平均池化层(将图片尺寸变为1x1)，在先前的网络中，全连接层占据了网络的大部分参数，很容易产生过拟合现象
阅读全文
摘要：在设计卷积神经网络架构时，有时候想压缩input的width 和 height，通常的做法便是 加一层pooling layer。 但是第三维的信息，有时候过多，而且过于复杂，这时候就要用到1x1xchannel的filter了。 如图： 1X1x192的filter相当于对图片的某一个像素点进行神
阅读全文
摘要：optimizer是在训练中，运用到的训练方法，最常用的是梯度下降法，去寻找最优loss，tf中常见的optimizer有： 通过Dr.Sebastian Ruder 的论文An overview of gradient descent optimization algorithms来详细了解一些优
阅读全文
摘要：记录一下filter，也就是用来提取要识别object边缘信息的过滤器的一些规律以及经验： 首先， 大部分卷积神经网络滤波器都会采用逐层递增（1⇒ 3 ⇒ 5 ⇒ 7）的方式。其次，每经过一次池化层，卷积层过滤器的深度都会乘以 2。 提一个知识点，也就是权值共享，每当filter扫过feature
阅读全文
摘要：记录一下感受野的理解： 在神经网络中，感受野的定义是： 神经网络的每一层输出的特征图（Feature ap）上的像素点在原图像上映射的区域大小。 1. 神经网络中，第一个卷积层的 感受野大小，就等于filter，滤波器的大小。 2. 深层卷积层的感受野大小和它之前所有层的滤波器大小和步长有关系。 3
阅读全文
摘要：再次回顾一下CNN，看到了一篇对CNN理解很到位的文章，所以想以自己的理解记录下来，以便复习。 下一篇，就开始记录RNN， LSTM的学习历程。 1. 这张图很形象的解释了，filter也就是滤波器，是如何扫过一张图片，加以计算的。以第一个为例子，用图片上的3x3矩阵，和filter相乘，得到卷积的
阅读全文
摘要：通过对斯坦福大学2017秋季，卷积神经网络的公开课CS231n，做以总结，辅助学习Tensorflow地址：https://cs231n.github.io/convolutional-networks/ Convolutional Neural Networks（CNN）： 首先卷积神经网络和传统
阅读全文
摘要：TensorFlow 是google提供的一个机器学习的主流框架，调用一下Wiki的解释： Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处
阅读全文
摘要：通过之前两章的学习，基于input, hidden, output, 3层的神经网络，我们尝试来做一些人工智能的小项目。 前两章链接： 第一章 ：https://www.cnblogs.com/ChrisInsistPy/p/9002880.html 第二章 ：https://www.cnblogs
阅读全文
摘要：通过前面的理论学习，以及关于Error和weight的关系分析，得出的公式，练习做一个自己的三层神经网络，based on Python3.5： 跟随书上的python introduction，介绍下numpy中的zeros(): 结果是： [[1. 0.] [0. 2.] [0. 5.]] 可以
阅读全文
摘要：1. threshold临界点：当training data足够多的时候，便会达到临界点， 使得神经元释放output 2. Activation functions: 激励函数，在神经网络中，利用激励函数可以把线性函数转化为平滑的曲线型函数 sigmoid函数： 当x=0时，y=0.5 在开始阶段
阅读全文
浙公网安备 33010602011771号