《Python深度学习》 __弗朗索瓦·肖莱 第一天 【深度学习基础】 2020.8.13

一、什么是深度学习

1、机器学习系统是训练出来的，而非明确地用程序写出来的；

2、机器学习需要的三个要素：输入数据点、预期输出的示例、衡量算法效果好坏的方法；

　　衡量结果是一种反馈信号，用于调节算法的工作方式，这个调节步骤即所说的“学习”；机器学习中的学习指的是：寻找更好数据表示的自动搜索过程；

3、机器学习模型将输入数据变化为有意义的输出，这是一个从已知的输入和输出示例中进行“学习”的过程，因此，机器学习和深度学习的核心问题在于有意义的变换数据，即学习输入数据的有用表示，这种表示可以让数据更接近预期输出；

4、所有机器学习算法都包括自动寻找这样一种变换：这种变换可以根据任务将数据转化为更加有用的表示。这些操作可能是坐标变换、平移等等，在寻找这些变换的过程中计算机仅仅是遍历一组预先定义好的操作，这组操作叫作“假设空间”；

5、机器学习的技术定义：在预先定义好的可能性空间中，利用反馈信号的指引来寻找输入数据的有用表示；

6、深度学习的深度：数据模型包含多少层，即为模型的深度，一连续的表示层；包括分层表示学习和层级表示学习；

　　深度学习中分词表示几乎总是通过神经网络的模型来学习得到，逐层堆叠；

　　将深度学习理解为：从数据中学习表示的一种数学框架；

　　

 

 7、权重：神经网络中每层对输入数据所做的具体操作保存在该层的权重中，每层实现的变换由其权重来参数化；

　　权重有时成为该层的参数；

　　一个深度神经网络可能包含数千万个参数，找到正确取值是一项间距的任务，特别是修改某个参数值可能会影响其他所有参数；

　　

 

 8、要想控制神经网络的输出，就需要能够衡量输出与预期值之间的距离，这是神经网络损失参数的任务，该函数也叫目标函数。

　　损失函数的输入是网络预测值与真实目标值，然后计算一个距离值，用来衡量该网络在这个示例上的效果好坏；

　　深度学习的基本技巧就是利用这个距离值作为反馈信号来对权重值进行微调，以降低对当前示例对应的损失值，这种调节由优化器完成；

　　

 

 9、经过训练循环，会降低网络处理的损失值。具有最小损失的网络，其输出值与目标值尽可能地接近，这就是训练好的网络。

二、机器学习简史

　　概率建模 - > 早期神经网络 - > 核方法（支持向量机...） - > 决策树、随机森林与梯度提升机 - > 神经网络