实用指南：深层神经网络是机器学习中一种重要的模型，它通过增加网络的“深度”（即隐藏层的数量）来提升模型对复杂数据的表示和学习能力。输入层：接收原始数据（如图像像素、文本向量等）。隐藏层：由多层组成，每一层包含若干神经元（节点），通过权重和激活函数处理数据。输出层：生成最终预测结果（如分类概率、回归值等）。

深层神经网络简介

深层神经网络是机器学习中一种重要的模型，它通过增加网络的“深度”（即隐藏层的数量）来提升模型对复杂内容的表示和学习能力。同浅层类似，也分为三个部分：

输入层：接收原始数据（如图像像素、文本向量等）。

隐藏层：由多层组成，每一层涵盖若干神经元（节点），通过权重和激活函数处理资料。

输出层：生成最终预测结果（如分类概率、回归值等）。

深层神经网络正向传播

深层神经网络反向传播

通过原理比较容易理解，与浅层神经网络类似，能够分为多个逻辑回归，进行反向传播

---

参数和超参数

参数（Parameters）

定义

模型内部学习得到的变量，通过训练数据自动优化，无需人工设定。

示例：

神经网络中的权重（Weights）和偏置（Bias）。

线性回归中的系数（θ0,θ1θ0​,θ1​）。

特点

数据驱动：通过反向传播（如梯度下降）从资料中学习。

数量庞大：深层网络的参数量可达数百万甚至数十亿（如GPT-3有1750亿参数）。

存储于模型中：训练达成后，参数被保存用于预测。

优化目标

最小化损失函数（如交叉熵、均方误差）。

---

2. 超参数（Hyperparameters）

定义

训练前人为设定的安装，控制模型的学习过程或结构。

示例：

学习率（Learning Rate）：梯度下降的步长。

批量大小（Batch Size）：每次迭代使用的样本数。

网络结构：层数、每层神经元数量。

正则化参数：L2惩罚系数（λλ）、Dropout率。

优化器选择：Adam、SGD等。

特点

人工依赖：无法直接从素材中学习，需通过经验或调优确定。

影响全局：超参数的选择直接影响模型收敛速度、泛化能力和最终性能。

需实验验证：通常凭借网格搜索、随机搜索或贝叶斯优化确定。