第一次作业：深度学习基础

1.视频学习心得及问题总结

夏鸿：目前人工智能处于快速发展期，人才缺口较大。近几年的发展主要是神经网络、深度学习。深度学习与传统机器学习的主要区别是深度学习是靠机器自己来发掘“特征”而不是靠人工设计特征。目前深度学习有很多不能：过于依赖数据，难以调试，难以理解开放性问题等。激活函数的作用是为了进行非线性变化。

 

孙哲：

初步了解什么是人工智能及其人工智能的发展，人工智能的三个层面：计算智能、感知智能、认知智能以及人工智能的应用。并学会区分机器学习、深度学习、人工智能。

 

深度学习的缺点：稳定性低、可调试性差、参数不透明、机器偏见、增量性差、推理能力差。对神经网络基础有了初步的了解。

 

 

庞杰：

 

绪论：

 

了解了人工智能的起源和发展历史

 

  了解了人工智能的应用（人工智能在金融方面、机器人方面的应用）

 

  实现人工智能的方法：1.早期的知识工程专家系统 2.机器学习

 

  了解了机器学习的学习发展过程：

 

学什么（问题规模大，准则复杂，有数据，有意义的模式（个人认为是数据会对结果产生原因），无解析解的问题）

 

怎么学：模型；策略；算法

 

  传统机器学习到深度学习的进步

 

  了解了神经网络的发展  

 

深度学习概述：

 

深度学习的能与不能

 

  算法输出不稳定，容易被攻击

 

  模型复杂度高，难以纠错和调试

 

  模型层次符合程度高，参数不透明

 

  端到端训练方式对数据依赖性强，模型增量性差

 

  专注直观感知类问题，对开放性推理问题无能为力

 

  人类知识无法有效引入进行监督，机器偏见难以避免

 

初步理解神经网络如何处理非线性问题（通过隐层将数据进行空间变换的可视化，将非线性问题转换为线性问题，既将原始输入空间投影到线性可分的空间）

 

更深的神经网络有更好的处理问题能力，但也更复杂

神经网络不是越深越好（梯度消失问题）

 

问题：

 

1. 神经网络为什么需要那么多层
2. 对深度学习中，参数不透明的缺点不是很理解
3. 有多个极值时，如何找到最好的极值

罗漫：

视频学习心得及问题总结视频学习心得：当前的优化算法下，一个大模型大概率能拟合出一个经验风险较小的函数。直观的说，就是大模型的拟合能力很强，当前的优化算法比较容易求解。但是，大模型也更容易过拟合，使得泛化能力不足。所以，一个小模型不仅仅符合工业界的要求，也可能带来一些泛化能力的提升，。这也就是现在大模型训练+模型压缩的意义。深度学习属于机器学习的范畴，深度学习可以说是在传统神经网络基础上的升级，约等于神经网络。深度学习和传统机器学习在数据预处理上都是类似的。核心差别在特征提取环节，深度学习由机器自己完成特征提取，不需要人工提取。

深度学习的优点：学习能力强。覆盖范围广，适应性好。数据驱动，上限高。可移植性好。

深度学习的缺点：计算量大，便携性差硬件需求高，模型设计复杂。没有”人性”，容易存在偏见。

问题总结：没看懂使用激活函数后怎么处理梯度消失。

 

李龙祥：

人工智能发展迅速，在多方面有着重要的应用

机器学习怎么学：建模（分类）——确定目标函数——求解模型参数

从传统机器学习到深度学习，深度学习并非无所不能

人工智能>机器学习>深度学习

单层感知器——多层感知器，每一层完成升维/降维 放大/缩小 旋转 平移 弯曲的作用

神经网络的层数并不是越深越好，三层神经网络是主流

多层神经网络会出现梯度消失问题

解决方案：寻找不错的初始值 自编码器与受限玻尔兹曼机

看完两个视频学到很多东西，除了数学公式有点多（看到数学公式就犯困），其他都挺好的。

问题：神经网络每一层的作用 降维那块并不知道自己理解的对不对 还没学过线性代数 矩阵线性变换不是很懂，这东西也很难描述。

 

2.代码练习

夏鸿	https://blog.csdn.net/xhc30/article/details/120668811
孙哲	https://www.cnblogs.com/zhendehencai/p/15385152.html
庞杰	https://www.cnblogs.com/xbjek/articles/15382620.html
罗漫	https://www.cnblogs.com/1429597254q/p/15385785.html
李龙祥	https://www.cnblogs.com/h3r3/p/15385168.html