神经网络与机器学习第3版学习笔记-第0章 导言

神经网络与机器学习第3版学习笔记 

                           -初学者的笔记，记录花时间思考的各种疑惑

    本文主要阐述该书在数学推导上一笔带过的地方。参考学习，在流畅理解书本内容的同时，还能温顾学过的数学知识，达到事半功倍的效果。

第0章 导言

1、第9页

1.1 logistic函数在原点的倾斜率等于a/4？

     $\,\,\varphi \left( v \right) =\frac{1}{1+e^{-av}}\Rightarrow \,\,\varphi’\left( v \right) =\frac{ae^{-av}}{\left( 1+e^{-av} \right) ^2}\Rightarrow \varphi \left( 0 \right) =\frac{a}{4}$

     ※logistic函数 $f\left( x \right) =\frac{1}{1+e^{-x}}$ 相关知识补充。

     $\because \,\,f’\left( x \right) =\frac{e^{-x}}{\left( 1+e^{-x} \right) ^2}$

     $\therefore \,\,f’\left( x \right) =f\left( x \right) \cdot \left( 1-f\left( x \right) \right) $

1.2 signum函数  $sgn \left( x \right) =\frac{x}{\left| x \right|}$

    中文名：正负号函数，又称为符号函数。

    ※与绝对值函数 $f\left( x \right) =\left| x \right|$ 的关系：$sgn \left( x \right) =f’\left( x \right) $。

2、第11页

2.1 二项式 $\left( 1-wz^{-l} \right) ^{-l}$ 展开结果为 $\frac{1}{\underset{l=0}{\overset{\infty}{\varSigma}}w^l}z^{-l}$ ？

    $\because $广义二项式定理：$\left( x+y \right) ^{\alpha}=\underset{k=0}{\overset{\infty}{\varSigma}}C_{\alpha}^{k}x^{\alpha -k}y^k$

    $\therefore \left( 1-x \right) ^{-n}=\frac{1}{\left( 1-x \right) ^n}=\frac{1}{\underset{l=0}{\overset{\infty}{\varSigma}}C_{n}^{l}x^l}$

    $\therefore \left( 1-wz^{-1} \right) ^{-1}=\frac{1}{\underset{l=0}{\overset{\infty}{\varSigma}}C_{1}^{l}\left( wz^{-1} \right) ^l}=\frac{1}{\underset{l=0}{\overset{\infty}{\varSigma}}w^l}z^{-l}$

3、第12页

3.1 图14中的输出信号指的是第一次的输入信号所产生的输出，而不是该次的总输出。