第一次作业：深度学习基础

一、视频学习心得以问题总结

学习心得：

赵亮：机器学习是一个很重要的研究领域，而深度学习又是其中很重要的一个分支，经过数十年的发展积累了很多的经验和数据。机器学习以及深度学习对于研究者的数学水平有一定的要求，所以数学的基础很重要，同时视频中提出了许多的有关概念激活函数、神经网络等，同时对深度学习的缺点也进行了概述，算法树池不稳定、训练方式对数据依赖性强等。

何静：（1）从专家系统到机器学习

 

知识工程/专家系统 根据专家定义的知识和经验，进行推理和判断，从而模拟人类专家的决策过程来解决问题，具有以下特点：

 

1.基于手工设计规则建立专家系统

 

2.结果容易理解

 

3.系统构建费时费力

 

4.依赖专家主观静安，难以保证一致性和准确性

 

机器学习 机器自动训练，具有以下特点：

 

1.基于数据自动学习

 

2.减少人工繁杂工作，但结果可能不易解释

 

3.提高信息处理的效率，且准确率较高

 

4.来源于真实数据，减少人工规则主观性，可信度高

 

（2）从传统机器学习到深度学习

 

传统机器学习：人基于对问题的理解，手动设计特征。学习的过程，是从手动设计的特征到输出这样一个映射。

 

深度学习：真正有效的特征应该是分层的，深度学习的过程就是从输入到简单特征，再到复杂特征，经过映射得到输出的过程。

 

（3）深度学习的能与不能

 

深度学习的“不能”有以下六点：

 

1.算法输出不稳定，容易被“攻击”

 

2.模型复杂度高，难以纠错和调试

 

3.模型层级复合程度高，参数不透明

 

4.端到端训练方式对数据依赖性强，模型增量性差

 

5.专注直观感知类问题，对开放性问题推理能力无能为力

 

6.人类只是无法有效引入进行监督，机器偏见难以避免

 

（4）浅层神经网络：生物神经元到单层感知器，多层感知器，反向传播和梯度消失

 

浅层结构算法：其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。

 

（5）深度学习：逐层预训练，自编码器和受限玻尔兹曼机

 

深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数）。深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。

何芝霞：1.国家重视对人工智能的研究，加强对人工智能人才的培养，人工智能其实是一个程序，具有快速计算和记忆存储的特点，并且人工智能能和金融和内容创作结合起来。机器学习是指计算机系统能够利用经验提高自身的技能，机器学习通过构建模型和求解算法来解决问题，有监督的学习的样本具有标记，无监督的学习的样本没有标记，然后我也了解了机器学习的材料、深度学习、感知器、无人自行车的概念等等。

2、听完深度学习概述，我了解了深度学习算法输出不稳定，容易被攻击，模型复杂度高，难以纠错和调试，模型层级复合程度高，参数不透明。神经网络学习如何利用矩阵的线性变换加激活函数的非线性变换，将原始输入空间投影到线性可分的空间去分类或者回归。其中多层神经网络可看成一个复合的非线性多元函数。深度学习的开发框架有GitHub和Tensflow,但是深度学习网络还存在梯度消失的现象，误差没法传播，难以训练。此外，我又了解了受限玻尔兹曼机，自动编码器和单层感知器的概念。

肖大智：

由神经网络模型创造的价值基本上都是基于监督式学习的。当数据量增大的时候，深度学习模型的效果会逐渐好于传统机器学习算法。现在深度学习如此强大的原因归结为三个因素：Data，Computation，Algorithms。其中，数据量的几何级数增加，加上GPU出现、计算机运算能力的大大提升，使得深度学习能够应用得更加广泛。另外，算法上的创新和改进让深度学习的性能和速度也大大提升。逻辑回归模型一般用来解决二分类问题。二分类就是输出y只有{0,1}两个离散值。逻辑回归问题可以看成是一个简单的神经网络，只包含一个神经元。逻辑回归的损失函数，在设计好网络模型后，w和b都是未知参数，需要反复训练优化得到。因此，我们需要定义一个cost function，包含了参数w和b。通过优化cost function，当cost function取值最小时，得到对应的w和b。对于m个训练样本，我们通常使用上标来表示对应的样本。最小化Cost function，让Cost function尽可能地接近于零。梯度下降算法用来计算出合适的w和b值，从而最小化Cost function。梯度下降算法是先随机选择一组参数w和b值，然后每次迭代的过程中分别沿着w和b的梯度（偏导数）的反方向前进一小步，不断修正w和b。每次迭代更新w和b后，都能让J(w,b)更接近全局最小值。整个神经网络的训练过程实际上包含了两个过程：正向传播和反向传播。正向传播是从输入到输出，由神经网络计算得到预测输出的过程；反向传播是从输出到输入，对参数w和b计算梯度的过程。反向传播算法内容比较复杂。自编码器是一个只有一个隐藏层的神经网络，它先对输入x进行编码，再对编码结果进行解码，我们希望能够得到和输入x非常相似的输出y（最理想情况就是输入和输出完全一样）。则编码所得到的结果就可以看作是该输入数据的特征。对于该目标更新网络参数，从而使其效果达到最优，这就构建了一个自解码器。受限玻尔兹曼机的本质是一种自编码器，它由可视层和隐藏层组成，可视层其实就是输入层，只不过名称不同。可视层和隐藏层之间的神经元采用对称的全连接，而层内的神经元之间没有连接。所有的神经元只有1和0两种状态，分别表示激活和未激活。

 

路芸蔓：

一． 人工智能

 

发展阶段：萌芽期，启动期，消沉期，突破期，发展期，高速发展期

 

三个层面：计算智能，感知智能，认知智能

 

人工智能+：+金融，+机器人，+内容创作

 

二． 机器学习

 

自动学习，提高信息处理的效率，减少人工规则主观性，可信度高

 

1. 技术应用领域：计算机视觉，自然语言处理，语音合成
2. 怎么学：模型—问题建模，确定假设空间；策略—确定目标函数；算法—求解模型参数
3. 传统机器学习：用大量数据训练；深度学习：从简单的数据到复杂的数据

 

三． 深度学习

 

1．“不能”：算法不稳定；模型复杂度高，难以纠错和调试；模型层级复合程度高，参数不透明；端到端训练方式对数据依赖性强，模型增量性差；专注直观感知类问题，对开放性推理问题无能为力；人类知识无法有效引入进行监督，机器偏见难以避免

 

2．解释性的三个层次：出了问题准确快速纠错；算法能被人的知识体系理解+利用和结合人类知识；知识得到有效存储，积累和复用

 

黄登伟：一：绪论

 

绪论部分讲解了人工智能发展历史，重点强调了人工智能领域人才缺口庞大，全世界各国加大人工智能领域的各项投入等。然后是人工智能的定义——使一部机器像人一样进行感知、认知、决策、执行的人工程序或系统。人工智能经历了6个发展阶段，分别是萌芽期、启动期、消沉期、突破期、发展期和高速发展期。人工智能可以和包括金融、内容创作、机器人等多个领域结合。

 

       人工智能包括三个层面：计算智能——能存能算；感知智能——能听会说、能看会认；认知智能——能理解、思考。

 

       然后讲述了人工智能和机器学习、深度学习的区别。人工智能是一个领域，机器学习是其中一个方面，深度学习属于机器学习。逻辑演绎主流技术是知识工程，代表方法是专家系统；归纳总结主流技术是机器学习，代表方法是神经网络。知识工程手工设计规则，结果易解释，但系统构建费时费力，机器学习是数据自动学习，提高了信息处理效率，但结果不易解释。

 

机器学习的应用领域是计算机视觉、语音识别和自然语言处理。机器学习按照数据标记分为监督学习和无监督学习。

 

深度学习的算法输出不稳定，模型复杂度高，难以纠错和调试，而且模型层级复合程度高，参数不透明，端到端训练方式对数据依赖性强，模型增量性差，专注于感知类问题，不能解决开放推理问题，深度学习难免会带有人类的偏见。

 

二：深度学习概述

 

神经网络模仿生物神经元，多个输入信号，累加、赋权值等处理后，一个输出，类似于人的神经元需要刺激传递信号，神经网络也有一个激活函数，分为线性和非线性，。感知器对应于神经元的树突，接受传递的信息，早期是单层感知器，后期发展为多层，三层感知器实现同或门，能够将复杂的问题经过变换后转为线性分类问题。

 

万有逼近定理说到如果一个隐层包含足够多的神经元，三层前馈神经网络能以任意精度逼近任意预定的连续函数。

 

神经网络学习利用矩阵的线性变换加激活函数的非线性变换，将原始输入空间投影到线性可分的空间中去分类或者回归。增加节点数增加线性转换能力，增加层数增加非线性转换次数。

 

神经网络的参数学习——误差方向传播，通过梯度来实现误差讯号的回传。但在深度神经网络中存在梯度消失问题，解决方法是使用ReLUjihuo函数。

 

最后介绍了受限玻尔兹曼机和自编码器，自编码器一般是一个多层神经网络，训练目标是使输出层和输入层误差最小。RBM不区分前向和后向，基于概率分布定义，高层表示为底层特征的条件概率，输出只有0/1两种状态。

 

问题总结：

赵亮：对于机器学习是初步接触，许多概念的理解还是不太到位。

何静：

何芝霞：1）机器学习和深度学习的区别不是很清楚  2）深度学习在现实生活中能应用到具体方向（3）深度学习为什么容易被攻击？ （4）深度学习参数不透明？

肖大智：

1.什么样的数据集适合节点数多的模型？

2.什么样的数据集适合层数多的模型？

3.模型具体是怎么训练的？

4.为什么加了ReLU激活函数之后，准确率大大提高？

路芸蔓：单层感知器和多层感知器的相关函数

黄登伟：1.不太明白万有逼近定理。2.ReLU函数是如何解决梯度消失问题的

二、代码练习

赵亮：https://www.cnblogs.com/OucStars/p/15387247.html

何静：https://blog.csdn.net/m0_52632116/article/details/120639699

何芝霞：https://www.cnblogs.com/www-hezhixia-com/

肖大智：https://www.cnblogs.com/xdzxdzxdz/p/15387901.html

路芸蔓：https://www.cnblogs.com/MYYYS/p/15388394.html

黄登伟：https://www.cnblogs.com/haohaoxuexiyibeizi/articles/15383284.html