tensorflow 1.0 学习：参数初始化（initializer)

http://www.cnblogs.com/denny402/p/6932956.html

CNN中最重要的就是参数了，包括W,b。我们训练CNN的最终目的就是得到最好的参数，使得目标函数取得最小值。参数的初始化也同样重要，因此微调受到很多人的重视，那么tf提供了哪些初始化参数的方法呢，我们能不能自己进行初始化呢？

https://github.com/tensorflow/tensorflow/blob/r1.1/tensorflow/python/ops/init_ops.py

所有的初始化方法都定义在tensorflow/python/ops/init_ops.py

1、tf.constant_initializer()

也可以简写为tf.Constant()

初始化为常数，这个非常有用，通常偏置项就是用它初始化的。

由它衍生出的两个初始化方法：

a、 tf.zeros_initializer()，也可以简写为tf.Zeros()

b、tf.ones_initializer(), 也可以简写为tf.Ones()

例：在卷积层中，将偏置项b初始化为0，则有多种写法：

conv1 = tf.layers.conv2d(batch_images, 
                         filters=64,
                         kernel_size=7,
                         strides=2,
                         activation=tf.nn.relu,
                         kernel_initializer=tf.TruncatedNormal(stddev=0.01)
                         bias_initializer=tf.Constant(0),
                        )

或者：

bias_initializer=tf.constant_initializer(0)

或者：

bias_initializer=tf.zeros_initializer()

或者：

bias_initializer=tf.Zeros()

例：如何将W初始化成拉普拉斯算子？

value = [1, 1, 1, 1, -8, 1, 1, 1，1]
init = tf.constant_initializer(value)
W= tf.get_variable('W', shape=[3, 3], initializer=init)

2、tf.truncated_normal_initializer()

或者简写为tf.TruncatedNormal()

生成截断正态分布的随机数，这个初始化方法好像在tf中用得比较多。

它有四个参数（mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32)，分别用于指定均值、标准差、随机数种子和随机数的数据类型，一般只需要设置stddev这一个参数就可以了。

例：

conv1 = tf.layers.conv2d(batch_images, 
                         filters=64,
                         kernel_size=7,
                         strides=2,
                         activation=tf.nn.relu,
                         kernel_initializer=tf.TruncatedNormal(stddev=0.01)
                         bias_initializer=tf.Constant(0),
                        )

或者：

conv1 = tf.layers.conv2d(batch_images, 
                         filters=64,
                         kernel_size=7,
                         strides=2,
                         activation=tf.nn.relu,
                         kernel_initializer=tf.truncated_normal_initializer(stddev=0.01)
                         bias_initializer=tf.zero_initializer(),
                        )

3、tf.random_normal_initializer()

可简写为 tf.RandomNormal()

生成标准正态分布的随机数，参数和truncated_normal_initializer一样。

4、random_uniform_initializer = RandomUniform()

可简写为tf.RandomUniform()

生成均匀分布的随机数，参数有四个（minval=0, maxval=None, seed=None, dtype=dtypes.float32)，分别用于指定最小值，最大值，随机数种子和类型。

5、tf.uniform_unit_scaling_initializer()

可简写为tf.UniformUnitScaling()

和均匀分布差不多，只是这个初始化方法不需要指定最小最大值，是通过计算出来的。参数为（factor=1.0, seed=None, dtype=dtypes.float32)

max_val = math.sqrt(3 / input_size) * factor

这里的input_size是指输入数据的维数，假设输入为x, 运算为x * W，则input_size= W.shape[0]

它的分布区间为[ -max_val, max_val]

6、tf.variance_scaling_initializer()

可简写为tf.VarianceScaling()

参数为（scale=1.0,mode="fan_in",distribution="normal",seed=None，dtype=dtypes.float32)

scale: 缩放尺度（正浮点数）

mode: "fan_in", "fan_out", "fan_avg"中的一个，用于计算标准差stddev的值。

distribution：分布类型，"normal"或“uniform"中的一个。

当 distribution="normal" 的时候，生成truncated normal distribution（截断正态分布）的随机数，其中stddev = sqrt(scale / n) ，n的计算与mode参数有关。

如果mode = "fan_in"， n为输入单元的结点数；

如果mode = "fan_out"，n为输出单元的结点数；

如果mode = "fan_avg",n为输入和输出单元结点数的平均值。

当distribution="uniform”的时候，生成均匀分布的随机数，假设分布区间为[-limit, limit]，则

limit = sqrt(3 * scale / n)

7、tf.orthogonal_initializer()

简写为tf.Orthogonal()

生成正交矩阵的随机数。

当需要生成的参数是2维时，这个正交矩阵是由均匀分布的随机数矩阵经过SVD分解而来。

8、tf.glorot_uniform_initializer()

也称之为Xavier uniform initializer，由一个均匀分布（uniform distribution)来初始化数据。

假设均匀分布的区间是[-limit, limit],则

limit=sqrt(6 / (fan_in + fan_out))

其中的fan_in和fan_out分别表示输入单元的结点数和输出单元的结点数。

9、glorot_normal_initializer（）

也称之为 Xavier normal initializer. 由一个 truncated normal distribution来初始化数据.

stddev = sqrt(2 / (fan_in + fan_out))

其中的fan_in和fan_out分别表示输入单元的结点数和输出单元的结点数。

==================================================================================================

tensorflow的几种参数初始化方法

https://blog.csdn.net/liushui94/article/details/78947956

在tensorflow中，经常会遇到参数初始化问题，比如在训练自己的词向量时，需要对原始的embeddigs矩阵进行初始化，更一般的，在全连接神经网络中，每层的权值w也需要进行初始化。
tensorlfow中应该有一下几种初始化方法

1.  tf.constant_initializer() 常数初始化
2.  tf.ones_initializer() 全1初始化
3. tf.zeros_initializer() 全0初始化
4. tf.random_uniform_initializer() 均匀分布初始化
5. tf.random_normal_initializer() 正态分布初始化
6. tf.truncated_normal_initializer() 截断正态分布初始化
7. tf.uniform_unit_scaling_initializer() 这种方法输入方差是常数
8. tf.variance_scaling_initializer() 自适应初始化
9. tf.orthogonal_initializer() 生成正交矩阵

具体的
1、tf.constant_initializer()，它的简写是tf.Constant()

1. tf.constant_initializer()，它的简写是tf.Constant()
#coding:utf-8
import numpy as np 
import tensorflow as tf 
train_inputs = [[1,2],[1,4],[3,2]]
with tf.variable_scope("embedding-layer"):
    val = np.array([[1,2,3,4,5,6,7],[1,3,4,5,2,1,9],[0,12,3,4,5,7,8],[2,3,5,5,6,8,9],[3,1,6,1,2,3,5]])
    const_init = tf.constant_initializer(val)
    embeddings = tf.get_variable("embed",shape=[5,7],dtype=tf.float32,initializer=const_init)
    embed = tf.nn.embedding_lookup(embeddings, train_inputs)                          #在embedding中查找train_input所对应的表示
    print("embed",embed)
    sum_embed = tf.reduce_mean(embed,1)
initall = tf.global_variables_initializer()
with tf.Session() as sess:
    sess.run(initall)
    print(sess.run(embed))
    print(sess.run(tf.shape(embed)))
    print(sess.run(sum_embed))

4、random_uniform_initializer = RandomUniform()

4.random_uniform_initializer = RandomUniform()
可简写为tf.RandomUniform()
生成均匀分布的随机数，参数有四个（minval=0, maxval=None, seed=None, dtype=dtypes.float32)，分别用于指定最小值，最大值，随机数种子和类型。

6、tf.truncated_normal_initializer()

6. tf.truncated_normal_initializer() 简写tf.TruncatedNormal()
生成截断正态分布的随机数，这个初始化方法在tf中用得比较多。
它有四个参数（mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32)，分别用于指定均值、标准差、随机数种子和随机数的数据类型，一般只需要设置stddev这一个参数就可以了。

8、tf.variance_scaling_initializer()


8.tf.variance_scaling_initializer()

可简写为tf.VarianceScaling()

参数为（scale=1.0,mode="fan_in",distribution="normal",seed=None，dtype=dtypes.float32)

scale: 缩放尺度（正浮点数）

mode:  "fan_in", "fan_out", "fan_avg"中的一个，用于计算标准差stddev的值。

distribution：分布类型，"normal"或“uniform"中的一个。

当 distribution="normal" 的时候，生成truncated normal   distribution（截断正态分布） 的随机数，其中stddev = sqrt(scale / n) ，n的计算与mode参数有关。

      如果mode = "fan_in"， n为输入单元的结点数；         

      如果mode = "fan_out"，n为输出单元的结点数；

       如果mode = "fan_avg",n为输入和输出单元结点数的平均值。

当distribution="uniform”的时候 ，生成均匀分布的随机数，假设分布区间为[-limit, limit]，则 limit = sqrt(3 * scale / n)

截断正态分布（Truncated normal distribution）

https://blog.csdn.net/lanchunhui/article/details/61623189

Truncated normal distribution - Wikipedia

Normal Distribution 称为正态分布，也称为高斯分布，Truncated Normal Distribution一般翻译为截断正态分布，也有称为截尾正态分布。

截断正态分布是截断分布(Truncated Distribution)的一种，那么截断分布是什么？截断分布是指，限制变量 $x$

2.1 限制取值上限，例如，负无穷<x<50
2.2 限制取值下限，例如，0<x<正无穷
2.3 上限下限取值都限制，例如，0<x<50

正态分布则可视为不进行任何截断的截断正态分布，也即自变量的取值为负无穷到正无穷；

1. 概率密度函数

假设 X 原来服从正太分布，那么限制 x 的取值在（a，b）范围内之后，X 的概率密度函数，可以用下面公式计算：

f (x; μ, σ, a, b) = 1 σ ϕ ( x - μ σ ) Φ ( b - μ σ ) - Φ (

其中 $ϕ (\cdot)$

$ϕ (ξ) = 1 2 π--\sqrt exp ( - 1 2 ξ 2 )$
$Φ (\cdot)$
对其分母部分的一些简单认识，
- $b \to \infty$
- $a \to - \infty$

posted on 2018-03-30 10:49 塔上的樹阅读(7263) 评论(0) 收藏举报

刷新页面返回顶部

塔上的樹

tensorflow 1.0 学习：参数初始化（initializer)

tensorflow的几种参数初始化方法

截断正态分布（Truncated normal distribution）

1. 概率密度函数

导航

公告