神经网络_线性神经网络 3 (Nerual Network_Linear Nerual Network 3)

1 LMS 学习规则_解方程组

1.1 LMS学习规则举例

X1=[0 0 1]T，t1=0；X2=[1 0 1]T，t2=0；X3=[0 1 1]T，t3=0；X1=[1 1 1]T，t1=1。

设权值分别为ω1，ω2，ω3。

将输入和权值组合得方程组：

ω1*0+ω2*0+ω3*1=0；

ω1*1+ω2*0+ω3*1=0；

ω1*0+ω2*1+ω3*1=0；

ω1*1+ω2*1+ω3*1=0。

可将该线性方程组写成矩阵的形式：

[0 0 1;1 0 1;0 1 1;1 1 1]  * [ω1 ω2 ω3]T=[0 0 0 1]T。 

则[ω1 ω2 ω3]T=pinv([0 0 1;1 0 1;0 1 1;1 1 1])*[0 0 0 1]T=[0.5 0.5 -0.25]T。

 1.2 LMS学习规则迭代更新公式推导

在实际运算中，经常通过迭代的方式求解W权值，迭代方式通常采用梯度下降法：

给定代价函数      E(ω) = 0.5*e2(n)

式中，e(n) = t(n) - XT(n)*ω(n) ，e(n)表示误差，t(n)表示期望（目标）值，XT(n)*ω(n)表示实际值。

上式两边对ω求偏导数   ∂E/∂ω = e(n)*∂e(n)/∂ωωωω∂

 

 

 

 

 

 

 

 

 

 

 

 

posted @ 2019-04-20 22:26  星辰之变  阅读(270)  评论(0)    收藏  举报