吴恩达机器学习课程笔记2-数字知识、多元梯度下降和正规方程

3 数学知识

1. 矩阵,向量
   

2. 矩阵加法和标量乘法
   
   

3. 矩阵向量乘法
   

• 实际问题转为矩阵模型
  

4. 矩阵乘法
   
   

5. 矩阵乘法特征

• 不满足交换律
  
• 满足结合律
  
• 单位矩阵
  

6. 逆矩阵和转置

• 逆矩阵,使用代码求解
  
• 转置
  

4 多元梯度下降和特征工程

1. 多特征

• 记号
  
• 多特征线性回归表达式
  
• 矩阵表达式
  

2. 多元梯度下降

• 矩阵表示
  
• cost funtion 矩阵表示
  

3. 梯度下降:特征缩放

• 不同特征范围不一致，产生椭圆形的等高线，不利于损失函数的收敛,缩放到[0,1]范围
  
  
• 均值归一化
  

4. 梯度下降:学习率

• 可视化损失函数是否收敛
  
• 发散，降低学习率
  
  

5. 选择特征，和多项式回归(非线性)

• 组合特征
  
• 多项式回归
  

6. 正规方程：求解损失函数最小值
   

• 正规方程与矩阵表示
  
  
• 使用正规方程，不用进行特征缩放
  
• Normal Equation:当特征数在一万以下的时候使用，超过一万后一般使用梯度下降算法
• 求解逆的复杂度是O(n^3),正规方程就是求解偏导为0的位置的参数值
  
• 正规方程推导参考

7. 正规方程的不可逆性

• 计算机函数中的求逆1函数和求伪逆
  
• 特征有线性情况下，不可逆
  

5 Octive 编程

参考

• 视频课程