人工智能入门-第二周

人工智能入门-第二周

全连接神经网络

什么是全连接神经网络？

全连接神经网络（Fully Connected Neural Network，FCNN）,是一种基础的神经网络模型。

特点是每一层中的每一个神经元都与下一层中的每一个神经元相连。

典型的神经网络训练过程

1. 生成标签数据
2. 将标签数据数值化
3. 将数值化后的标签数据标准化（一般用归一化），构成数据向量
4. 将权重矩阵与数据向量（+偏置）做矩阵乘法，得到结果向量
5. 将结果向量通过激活函数（Sigmod、Relu、Tanh）得到logits
6. 对logits做oftmax，得到概率分布
7. 如果预测错误，使用损失函数计算损失（LOSS）
8. 再通过求梯度等方法，使用损失去调整权重矩阵

PS

1. 神经网络的计算只有浮点数的加减乘除。

卷积

什么是卷积？

卷积（Convolution）是一种数学运算，主要应用于信号处理、图像处理与深度学习中的卷积神经网络（Convolution Neural Networks, CNNs）

卷积操作的主要目的是提取输入数据中的特征，例如图像中的边缘和纹理。

卷积分类

一维卷积

一维卷积主要处理一维信号，如时间序列数据。卷积核（滤波器）在输入数据上滑动，计算加权和。

二位卷积

二位卷积主要用于处理图像数据。卷积核在图像的高度和宽度两个维度上滑动，生成特征图。

三维卷积

三维卷积用于处理三维数据，如视频或医学影响。卷积核在三个维度上滑动。

卷积操作步骤

以下是二维卷积的具体步骤，类似的步骤适用于一维和三维卷积。

1. 定义输入和卷积核：
   • 输入图像：一个二维矩阵，每个元素表示图像的像素值。
   • 卷积核：一个较小的二维矩阵，通常为3x3、5x5等，每个元素是权重。
2. 滑动卷积核：
   • 将卷积核放置在输入图像的某个位置。
   • 计算卷积核覆盖区域内对应元素的乘积之和，得到一个单一的数值。
   • 将卷积核滑动到下一个位置（通常是一个像素或更多），重复上述计算。
3. 生成特征图（Feature Map）：
   • 重复滑动和计算过程，直到整个图像都被卷积核扫描完毕，得到一个新的矩阵，即特征图。

卷积计算公式

对于一个输入图像 \(I\) 和一个卷积核 \(K\)，在位置\((,)\) 处的卷积操作可以表示为：

\[(I * K)(i, j) = \sum_m \sum_n I(i + m, j + n) K(m, n) \]

其中，\((I∗K)\) 表示卷积操作的结果，$$ 和 $$是卷积核的维度。

卷积层的参数

• 滤波器（Filters）：卷积核的数量。每个滤波器学习不同的特征。
• 步幅（Stride）：卷积核每次移动的像素数。
• 填充（Padding）：在输入图像的边缘添加像素，以控制输出特征图的大小。常见的填充方式有”valid“（无填充）和”same“（填充使输出大小与输入相同）。

卷积层常用计算

计算输出图像的维度

\[\text{输出高度} = \left\lfloor \frac{\text{输入高度} - \text{卷积核高度} + \text{填充}}{\text{步幅}} \right\rfloor + 1 \]

---

跟着吴恩达学深度学习

P?-P?

Logistic回归

什么是Logistic回归？

Logistic回归（Logistic Regression）是一种统计模型，用于二分类问题。

Logistic回归模型通过将线性回归的结果输入到Logistic函数（Logistic Function, 也称为Sigmoid函数）中，将输出值映射到0到1之间，从而实现分类任务。

基本概念

线性模型

Logistic回归首先计算输入特征的线性组合。假如输入特征向量为\(x=[x_1,x_2,...,x_n]\)对应的权重为\(w=[w_1,w_2,...,w_n]\)，偏置项为\(b\),线性组合表示为：

\[z = \mathbf{w} \cdot \mathbf{x} + b = w_1 x_1 + w_2 x_2 + \cdots + w_n x_n + b \]

Logistic函数（Sigmoid函数）

Logistic回归将线性组合的结果输入到Logistic函数中，得到0到1之间值，表示属于某一类别的概率。Logitic公式为：

\[\sigma(z) = \frac{1}{1 + e^{-z}} \]

\(\sigma(z)\)也被称为Sigmoid函数。

预测输出

根据\(\sigma(z)\)的值可以预测得到样本属于正类的概率。常用的决策规则是设置一个阈值，大于阈值（通常为0.5）就预测为正类，否则就预测为负类。。预测输出公式为：

\[\hat{y} = \begin{cases} 1 & \text{if } \sigma(z) \geq 0.5 \\ 0 & \text{if } \sigma(z) < 0.5 \end{cases} \]

应用场景

二分类问题

垃圾邮件检测、患病检测、客户流失预测等

多分类问题

Logistic回归通过拓展可以用于多分类问题。

常用的方法有一对多（one-vs-all）和多项Logistic回归（Multinomial Logistic Regression）。