摘要：
L1 L2 Regularization 表示方式： $L_2\text{ regularization term} = ||\boldsymbol w||_2^2 = {w_1^2 + w_2^2 + ... + w_n^2}$ 执行 L2 正则化对模型具有以下影响 使权重值接近于 0（但并非正好 阅读全文
posted @ 2019-02-14 20:35
戒骄戒躁-沉淀积蓄
阅读(178)
评论(0)
推荐(0)
摘要：
损失函数添加L2 regularization 对于AlphaGo 的一个神经网络预测两个值的情况，在原有的损失函数上，又要添加正则项来修正 AlphaGo的损失函数 使用了MSE和交叉验证，没有采用softmax激活函数，只有value网络使用了tanh激活 阅读全文
posted @ 2019-02-14 18:16
戒骄戒躁-沉淀积蓄
阅读(698)
评论(0)
推荐(0)
摘要：
范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。 它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。 空间范数 常用范数 1-范数：║x║1=│x1│+│x2│+…+│xn│ 2-范数：║x║2=（│x 阅读全文
posted @ 2019-02-14 16:37
戒骄戒躁-沉淀积蓄
阅读(561)
评论(0)
推荐(0)
摘要：
tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None) 第一个参数logits：就是神经网络最后一层的输出 第二个参数labels：实际的标签 具体的执行流程大概分为两步： 第一步是先对网络最后一层的输出做一个softma 阅读全文
posted @ 2019-02-14 00:32
戒骄戒躁-沉淀积蓄
阅读(492)
评论(0)
推荐(0)
浙公网安备 33010602011771号