摘要：卷积神经网络发展趋势。Perceptron(感知机)，1957年，Frank Resenblatt提出，始祖。Neocognitron(神经认知机)，多层级神经网络，日本科学家Kunihiko fukushima，20世纪80年代提出，一定程度视觉认知功能，启发卷积神经网络。LeNet-5，CNN之 阅读全文

摘要：ResNet(Residual Neural Network)，微软研究院 Kaiming He等4名华人提出。通过Residual Unit训练152层深神经网络，ILSVRC 2015比赛冠军，3.57% top-5错误率，参数量比VGGNet低，效果非常突出。ResNet结构，极快加速超深神经 阅读全文

摘要：Google Inception Net，ILSVRC 2014比赛第一名。控制计算量、参数量，分类性能非常好。V1，top-5错误率6.67%，22层，15亿次浮点运算，500万参数(AlexNet 6000万)。V1降低参数量目的，参数越多模型越庞大，需数据量越大，高质量数据昂贵；参数越多，耗费 阅读全文

摘要：VGGNet，牛津大学计算机视觉组(Visual Geometry Group)和Google DeepMind公司一起研发，深度卷积神经网络。VGGNet反复堆叠3x3小型卷积核和2x2最大池化层，成功构筑16~19层深卷积神经网络。比state-of-the-art网络结构，错误率幅下降，取得I 阅读全文

摘要：ILSVRC(ImageNet Large Scale Visual Recognition Challenge)分类比赛。AlexNet 2012年冠军(top-5错误率16.4%，额外数据15.3%，8层神经网络)。VGGNet 2014年亚军(top-5错误率7.3%，19层神经网络)。Goo 阅读全文

摘要：经典数据集CIFAR-10,60000张32x32彩色图像，训练集50000张，测试集10000张。标注10类，每类图片6000张。airplance、automobile、bird、cat、deer、dog、frog、horse、ship、truck。没有任何重叠。CIFAR-100,100类标注 阅读全文

摘要：载入MNIST数据集。创建默认Interactive Session。 初始化函数，权重制造随机噪声打破完全对称。截断正态分布噪声，标准差设0.1。ReLU，偏置加小正值(0.1)，避免死亡节点(dead neurons)。 卷积层函数，tf.nn.conv2d，TensorFlow 2 维卷积函数 阅读全文

摘要：卷积神经网络(Convolutional Neural Network,CNN)，可以解决图像识别、时间序列信息问题。深度学习之前，借助SIFT、HoG等算法提取特征，集合SVM等机器学习算法识别图像。 SIFT，缩放、平移、旋转、视角转变、亮度调整畸变的一定程度内，具有不变性。有局限性，Image 阅读全文

摘要：隐含层，指除输入、输出层外，的中间层。输入、输出层对外可见。隐含层对外不可见。理论上，只要隐含层节点足够多，只有一个隐含层，神经网络可以拟合任意函数。隐含层越多，越容易拟合复杂函数。拟合复杂函数，所需隐含节点数，随隐含层数量增多指数下降。 过拟合，模型预测准确率在训练集上升，在测试集下降。泛化性不好 阅读全文

摘要：传统机器学习依赖良好的特征工程。深度学习解决有效特征难人工提取问题。无监督学习，不需要标注数据，学习数据内容组织形式，提取频繁出现特征，逐层抽象，从简单到复杂，从微观到宏观。 稀疏编码(Sparse Coding)，基本结构组合。自编码器(AutoEncoder)，用自身高阶特征编码自己。期望输入/ 阅读全文

摘要：TensorFlow实现Softmax Regression(回归)识别手写数字。MNIST(Mixed National Institute of Standards and Technology database)，简单机器视觉数据集，28X28像素手写数字，只有灰度值信息，空白部分为0,笔迹根 阅读全文