吴恩达机器学习入门笔记16/17-大规模机器学习/机器学习中的重要思想

16 大规模机器学习

16.1 随机梯度下降-每次只取一个样本进行梯度下降

![[外链图片转存失败(img-N2vpp3I1-1568604530319)(E:\Artificial Intelligence Markdown\Machine Learning\pictures\16.1 随机梯度下降.png)]]( https://img-blog.csdnimg.cn/20190916112904429.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDM3NzAz,size_16,color_FFFFFF,t_70)

作出cost函数图像

![[外链图片转存失败(img-JlyAV5d4-1568604530321)(E:\Artificial Intelligence Markdown\Machine Learning\pictures\16.1 随机梯度下降代价函数图像.png)]]( https://img-blog.csdnimg.cn/20190916112915756.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDM3NzAz,size_16,color_FFFFFF,t_70)

出现平缓，则需改变特征或改变学习率

16.2 Mini-Batch 梯度下降

每次选取一定数量的样本进行梯度下降，当使用向量化方法并行计算时速度比随机梯度下降更快

17 机器学习中的重要思想

17.1 流水线-OCR

需要文字检测 文字分割 文字识别三大部分

17.1.1 文字检测/行人检测

运用滑动窗口的算法，每次滑动固定步长，识别窗口内的图像

17.1.2 文字分割

训练分类器识别该分割的区域和不该分割的区域，再将扣出的图样进行滑动窗口分割

17.2 获取大量数据

• 首先用学习曲线检验，确保有低偏差，高方差的分类器，保证大量训练样本可提升分类器
• 通过人工合成获取大量样本、通过对样本应用失真操作或自己标记数据

17.3 上限分析

通过明确工作流后，人工改进某一模块，判断改进后系统分类正确率提高了多少作为各个模块的上限，完成各个模块上限的分析后，判断改进哪一模块的收益最大，就把工作重点放于该模块