深度学习笔记

b站：深度学习课程，唐宇迪

机器学习流程

1. 数据获取
2. 特征工程（神经网络可以作为一种特征提取的方法，而非算法）
3. 建立模型（用工具包建模很快）
4. 评估与应用

特征工程是所有机器学习算法中最核心的部分

图像分类任务

图像 300 * 100 * 3 （像素点数目＋通道数（3个通道：如RGB））

分类任务常规套路

举例： KNN（K-近邻）算法

神经网络基础

1. 权重参数

• 得到每个类别的得分，偏置参数+b（对各自得分函数进行微调）
• 偏置项是神经网络中一种可学习的参数。

2. 损失函数

正则化惩罚：一个过拟合的模型是没有用的。

• 正则化惩罚项是机器学习中用于控制模型复杂度的一种技术，它通常通过在损失函数中添加一个额外的项来限制模型的参数。正则化惩罚项有助于防止过拟合，提高模型的泛化能力。

• 在正则化惩罚项中，最常见的有L1正则化和L2正则化两种形式：

• L1正则化会向损失函数中添加模型参数的绝对值之和，即参数的L1范数，通常表示为λ*Σ|θ_i|，其中λ是正则化项的权重，θ_i是模型的参数。

• L2正则化会向损失函数中添加模型参数的平方和的开根号，即参数的L2范数，表示为λ*Σθ_i^2。

• 这两种正则化方式对模型参数的影响是不同的，L1正则化有助于使得一些参数变为0，从而实现特征选择的作用，而L2正则化则更加平滑，有助于防止参数过大，减轻特征之间的共线性。
  

• 损失函数 = 数据损失 ＋ 正则化惩罚

3. 前向传播

• 神经网络大致过程
  
• Softmax分类器