博博的Blog

摘要： 一、特点 1、对AlexNet改进，在第一个卷积层用了更小的卷积核和stride 2、多尺度训练（训练和测试时，采用整张图的不同尺度） 由此，VGG结构简单，提取特征能力强，应用场景广泛 由单尺度测试结果对比： 二、 不同结构的对比 VGG一共提供了6个网络版本，一次探究不同网络的效果对比。 下面简 阅读全文

摘要： 知识总结 （1）再次注意summary的使用 （2）`x = rdm.rand(dataset_size, 2) y_ = [[x1 2 + x2 2] for (x1, x2) in x]`这里的问题要注意 （3）注意batch时，全部先按照一套W进行前向传播，这时候在进行正则化时，加的是同一套W 阅读全文

摘要： 1、批量梯度下降 批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。从数学上理解如下： 对应的目标函数（代价函数）即为： （1）对目标函数求偏导： （2）每次迭代对参数进行更新： 优点： （1）一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。 （2）由全 阅读全文

摘要：    本文主要介绍AlextNet的一些知识，这些知识经常被忽略 一、AlextNet的创新点 （1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了， 阅读全文

摘要： 1、本节多为复习内容，从以下图片可见一般： 2、学会使用 然后 进行赋值的时候就可以不变了 阅读全文

摘要： 这样是比较好的一个summary命名 （1）'networks'、'layer_%d' % n_layer、'weights'三个命名空间相互叠加 （2） 逐步写入的程序如上面所示 （3）最后的tensorboard图还是比较完美的 阅读全文

摘要： 1、首先复习前面所学知识： （1）g = tf.Graph() （2）别忘了初始化时的 initializer （3） 这个东西发现没球用 （4）最好是用 与`tf.get_variable tf.Variable()`出什么幺蛾子 2、所有的变量都会被加入到Graphkeys.VARIABLES集 阅读全文

摘要： 1、运行以下代码 得到 其中，add与代码中的add有关，0表示第一个输出，图中的shape(2, )则表示一个长度为2的 一维数组 2、讲一个特别重要的概念——result.get_shape()可以获得张量的维度信息 3、见到result.eval(session=sess)不要奇怪，sess 阅读全文

摘要： 1、绝大部分时候都会忽略graph的使用，如下代码所示，学会怎样tf.get_default_graph()是重要的，此外注意变量定义时的初始化必须加 initializer 2、此外，要知道 这两条语句加在哪里也是极为重要的 3、注意命名及命名空间的使用 阅读全文