全连接层网络结构：神经网络每两层之间的所有结点都是有边相连的。
卷积神经网络：1.输入层 2.卷积层：将神经网络中的每一个小块进行更加深入地分析从而得到抽象程度更高的特征。
3 池化层：可以认为将一张分别率较高的图片转化为分别率较低的图片，通过池化层，可以进一步缩小最后全连接层中节点的个数，从而达到减少整个神经网络中参数的目的。
4全连接层：可以认为图像中的信息已经被抽象成了信息含量更高的特征。
5 softmax层
循环神经网络
过滤器：可以将当前层神经网络上的一个子节点矩阵转化为下一层神经网络上的一个单位节点矩阵。单位节点矩阵指的是一个长和宽都为1，但深度不限的节点矩阵。常用的过滤器尺寸有3*3和5*5.
过滤器的尺寸指的是一个过滤器输入节点矩阵的大小，而深度指的输出单位节点矩阵的深度。
在卷积神经网络中，每一个卷积层中使用的过滤器中的参数都是一样的，可以巨幅减少神经网络上的参数。共享过滤器的参数可以使得图像上的内容不受位置的影响。
池化层（最大池化层和平均池化层）：可以非常有效地缩小矩阵的尺寸，从而减少最后全连接层中的参数，使用池化层可以加快计算速度也有防止过拟合问题的作用。
经典的用于图片分类问题的卷积神经网络架构：输入层->(卷积层+ ->池化层？)+ ->全连接层+
LeNet-5模型（不同卷积层通过串联方式连接在一起）：1）卷积层 2）池化层 3）卷积层 4）池化层 5）全连接层 6）全连接层 7）全连接层
Inception-v3模型（不同的卷积层通过并联方式结合在一起）：46层，由11个Inception模块组成（代码过长，可以使用TensorFlow-slim工具来实现）
卷积神经网络迁移学习：（为了解决标注数据和训练时间的问题）就是讲一个问题上训练好的模型通过简单的调整使其适用于一个新的问题。
利用ImageNet数据集上训练好的Inception-v3模型来解决一个新的图像分类问题，可以保留训练好的Inception-v3模型中所有卷积层的参数，只是替换最后一层全连接层。在最后这一层全连接层之前的网络层称之为瓶颈层。
将新的图像通过训练好的卷积神经网络直到瓶颈层的过程可以看成是对图像进行特征提取的过程。
运行一个程序时提示出错如下：
Traceback (most recent call last):
File "/MNIST/softmax.py", line 12, in <module>
cross_entropy2=tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(logits, y_))#dont forget tf.reduce_sum()!!
File "C:\python35\lib\site-packages\tensorflow\python\ops\nn_ops.py", line 1578, in softmax_cross_entropy_with_logits
labels, logits)
File "C:\python35\lib\site-packages\tensorflow\python\ops\nn_ops.py", line 1533, in _ensure_xent_args
"named arguments (labels=..., logits=..., ...)" % name)
ValueError: Only call `softmax_cross_entropy_with_logits` with named arguments (labels=..., logits=..., ...)
原来这个函数，不能按以前的方式进行调用了，只能使用命名参数的方式来调用。原来是这样的：
tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(y, y_))
因此修改需要成这样：
tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=y_))
