05 2018 档案

[吃药深度学习随笔] 搭建模块化的神经网络八股
摘要：def forward(x, regularizer): w= b= y= return y def get_weight(shape, regularizer): w=tf.Variable() tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(regulari... 阅读全文
posted @ 2018-05-21 01:32 吃药 阅读(383) 评论(1) 推荐(1)
[吃药深度学习随笔] 正则化
摘要：过拟合与正则化 正则化计算方法 matplotlib可视化工具模块使用方法： 例子： 阅读全文
posted @ 2018-05-21 00:59 吃药 阅读(187) 评论(0) 推荐(0)
[吃药深度学习随笔] 交叉熵
摘要：#TensorFlow函数 ce = -tf.reduce_mean(y_* tf.log(tf.clip_by_value(y, 1e-12, 1.0))) #Tensorflow代码 ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_,1)) cem = tf.re... 阅读全文
posted @ 2018-05-21 00:02 吃药 阅读(126) 评论(0) 推荐(0)
[吃药深度学习随笔] 学习率
摘要：学习率（Learning_rate） 表示了每次参数更新的幅度大小 若过大 则参数容易在最小值附近不断跳跃 若过小 则参数收敛会变慢 于是 如何设置学习率？ 使用 指数衰减学习率 Tensorflow代码： 例子： 得到最终结果： 学习率不断减小 阅读全文
posted @ 2018-05-13 00:42 吃药 阅读(541) 评论(0) 推荐(0)
[吃药深度学习随笔] 损失函数
摘要：神经元模型 常用的激活函数（激励函数）： 神经网络（NN）复杂度：多用神经网络层数和神经网络参数个数来表示 层数 = 隐藏层层数+1个输出层 参数个数 = 总W（权重） + 总B（偏置） 比如 损失函数（loss）：预测值y 和已知答案y_ 的差距 神经网络优化目标：使损失函数loss 达到最小 常 阅读全文
posted @ 2018-05-12 22:42 吃药 阅读(726) 评论(0) 推荐(0)
[吃药深度学习随笔] 练习：训练二次方程的参数
摘要：最终得到结果： 阅读全文
posted @ 2018-05-12 21:46 吃药 阅读(207) 评论(0) 推荐(0)
[吃药深度学习随笔] 反向传播：训练模型参数 令参数梯度下降 使神经网络的损失函数最小
摘要：其中 最为常用的优化器是 GradientDescentOptimizer 梯度下降优化器 例子： 得出结果： 总结： 搭建神经网络的的步骤：准备、前传、反传、迭代 准备： import 定义常量 生成/导入数据集 前向传播： 定义输入、参数、输出 如上例子的 x,y w1,w2 a,result 阅读全文
posted @ 2018-05-12 19:55 吃药 阅读(356) 评论(0) 推荐(0)
[吃药深度学习随笔] 前向传播：即如何在图中输入数据向前推进从而得到计算结果
摘要：其中 tf.random_normal是正太分布 除了这个 还有tf.truncated_normal:去掉过大偏离点（大于2个标准差）的正态分布 tf.random_uniform:平均分布 [2,3]是生成2x3的矩阵 stddev是标准差 mean是均值 seed是随机数种子 构造其余量的方法 阅读全文
posted @ 2018-05-12 17:46 吃药 阅读(188) 评论(0) 推荐(0)
[吃药深度学习随笔] 张量 计算图 会话
摘要：张量(tensor)：即多为数组/列表 阶：即为张量的维数 张量可以表示0阶到n阶的多维数组 例子： 得到结果 Tensor("add:0", shape=(2,), dtype=float32) 计算图（Graph）：搭建神经网络的计算过程，只搭建，不运算，运算在会话（Session）里 （计算图 阅读全文
posted @ 2018-05-12 17:03 吃药 阅读(454) 评论(0) 推荐(0)