神经网络

训练样本：X【x1，x2，x3】

神经元正向传播z1=w1X+b1

 

Sigmoid激活函数 a = 1（1+e^-z） 倒数 gz（1-gz）

最受欢迎 RULE修正函数 a=max（0，z）

Tanhz

为什么使用：

(如果使用线性的那么这个模型输出的就是你输入的特征的线性集合)

如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层节点的输入都是上层输出的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了，那么网络的逼近能力就相当有限。正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络表达能力就更加强大（不再是输入的线性组合，而是几乎可以逼近任意函数）。

 

人们为了解决Dead ReLU Problem，提出了将ReLU的前半段设为αxαx而非0，通常α=0.01α=0.01。另外一种直观的想法是基于参数的方法，即ParametricReLU:f(x)=max(αx,x)ParametricReLU:f(x)=max(αx,x)，其中αα
可由方向传播算法学出来。理论上来讲，Leaky ReLU有ReLU的所有优点，外加不会有Dead ReLU问题，但是在实际操作当中，并没有完全证明Leaky ReLU总是好于ReLU。

 

 

反向传播对结果进行偏导。 损失函数L（a,y）

反向传播确定维度相匹配

 

左边是单个样本做测试

logistic回归是一种广义线性回归（generalized linear model），因此与多重线性回归分析有很多相同之处。它们的模型形式基本上相同，都具有 w‘x+b，其中w和b是待求参数，其区别在于他们的因变量不同，多重线性回归直接将w‘x+b作为因变量，即y =w‘x+b，而logistic回归则通过函数L将w‘x+b对应一个隐状态p，p =L(w‘x+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数，就是logistic回归，如果L是多项式函数就是多项式回归。

 

n(0)输入特征为x1,x2 会产生两个隐藏域 log回归的w1是2x2的矩阵 初始化的时候令w1为0000by2x2 进行计划的时候激活函数一样w2  1x2 矩阵 这样是毫无意义 我们需要的是每个域计算不同的函数

采取初始化w1=np.random.randn((2,2))*0.01 b1=np。Zero（（2，1））

使用0.01的问题 如果参数大 a=g（z） 导致激活函数运算的时候梯度过小 学习过慢