深度学习开端：ANN、MLP、CNN、RNN、GNN - 详解

对深度学习里面的概念进行整理和说明，内容和图片部分为网络收集。就是本文主导

概念将会从大到小一步步深入，从最初的人工智能到最新的深度学习。

1.人工智能（Artificial Intelligence，AI）

人工智能，英文缩写为AI。是研究、编写用于模拟、延伸和扩展人的智能的理论、办法、工艺及应用系统的一门新技术科学。人工智能是计算机科学的一个分支。

人类或者动物才有的那部分行为或能力称之为智能，由人类创造出来的此类智能成为人工智能。简单理解就是人区别其他动物的能力，对物体的识别、知识的学习、未来的预测等等。

人工智能分类五类：机器学习、自然语言处理、计算机视觉、机器人学、专家系统。学科的分类不是绝对静态的，随着时间是会发生变化的。

现在最热的机器学习里的大语言模型关联到了自然语言处理和专家系统，图像识别牵扯到了计算机视觉、强化学习给机器人学供应支持。人工智能将会形成以机器学习为核心，其他路线为辅的发展模式。

2.机器学习（Machine Learning，ML）

机器学习是一种通过算法和模型使计算机从数据中自动学习并进行预测或决策的技术，属于人工智能的一个分支。其核心目标是让计算机在没有明确编程指令的情况下，通过对大量内容的分析，识别模式和规律，从而构建适应新数据的模型。

数据驱动的技术创新。三类学习方法对应人类的三种行为（学习、思索、练习）就是机器学习从学习方法上分包括监督学习、无监督学习和强化学习等不同类型，广泛应用于图像识别、自然语言处理、推荐系统和自动驾驶等领域，具备自适应、自动化和泛化能力，

2.1有监督学习（Supervised Learning，SL）

监督学习是指在训练过程中，模型会同时接收到输入数据和对应的正确输出（标签）。模型通过学习输入与输出之间的映射关系，来对新的未知数据进行预测。 有监督学习就像有个大人在给小孩传授知识，大人用先验知识灌输到小孩的思想中，形成烙印。此种行为符合人类的主要行为之一——学习

决策树和支持向量机是有监督学习的常用方法。

2.1.1决策树（Decision Tree，DT）

在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值直观运用概率分析的一种图解法。就是大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，

2.1.2支撑向量机（Support Vector Machine, SVM）

支持向量机是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面。

2.2无监督学习（Unsupervised Learning,UL)

无监督学习中，训练数据只有输入，没有给定的标签。模型的目标是发现数据中的内在结构和规律。 无监督学习类似人类的主要行为之一——思索。

无监督学习的常用途径。就是聚类分析和主成分分析

2.2.1聚类分析（Clustering Algorithm,CA)

数据挖掘的一个重要方法。聚类分析以相似性为基础，在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。就是聚类分析又成群分析，它是研究分类困难的一种统计分析方法，同时也

2.2.2主成分分析（Principal Component Analysis，PCA）

主成分分析是一种统计学方法，用于对数据进行降维处理。它通过线性变换将原始数据转换到一个新的坐标系统中，使得在这个新坐标系下，数据的方差沿着坐标轴被最大化。PCA的目标是提取数据中最重要的信息（即主成分），同时去除冗余信息，从而降低数据的维度，同时保留数据的主要特征。

2.3强化学习（Reinforcement Learning，RL）

智能体在环境中不断执行动作，根据环境反馈的奖励信号来学习最优的行为策略。强化学习符合人类的重要行为之一——练习。

深度Q网络（DQN）

结合了深度学习和Q学习的办法。它使用神经网络来近似Q函数，依据不断地与环境交互，学习到在不同状态下采取何种动作能够获得最大的长期奖励。在游戏领域，DQN可以让智能体学习如何在游戏中取得高分，例如让智能体学习玩Atari游戏，通过不断尝试不同的操作，根据游戏给出的奖励信号来优化自己的策略。

3.深度学习（Deep Learning，DL）

深度学习特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上，结合当代大数据和大算力的发展而发展出来的。

当前计算机、大数据科学和人工智能领域的研究热点。就是目前看来，深度学习是解决强人工智能这一重大科技问题的最具潜力的技术途径，也

3.1人工神经网络（Artificial Neural Network，ANN ）

人工神经网络模拟人类的神经元特性，模拟人类大脑的信息处理方式。线性神经网络每个隐藏层的节点都包含了权重weight、偏置bias、激活函数activation function。

3.1.1基本内容

构建：

输入层和输出层的个数是由具体要解决的问题决定的，依据修改隐藏层的数量、每个隐藏层的节点个数和激活函数来构建不同的NN模型。

训练：

依据带有输入数据和输出结果的数据集对NN模型进行训练，得到每个节点的权重和偏置值。

测试：

测试数据集包含输入和输出，用来测试结果的准确度。

3.1.2AI模型的任务

AI模型主要解决人类生活的三个挑战：分类（识别）、预测（决策）和生成（执行）。人类生活中的主要行为基本可以由以上三类构成。

举例：当你走在路上碰见一个人，三个动作:

谁？朋友、上司、下属、亲人等等。就是识别：这个人

决策：我要和他打招呼、不打招呼、等他打招呼、一言不发等等

执行：和他打招呼、躲开、装作不认识、没看见。

通过有很大差距。就是早期的AI只能完成单个任务：图像识别、天气预测、情况判断等等，近几年的大模型逐渐能够完成复杂的动作，尤其大语言模型等生成类模型，能力大大提高，不过距离人的复杂行为和能力还

3.2多层感知机（Multi-Layer Perceptron，MLP）

也叫前馈神经网络模型，是最基本的神经网络结构。它由输入层、隐藏层和输出层组成，信息从输入层依次向前传播到输出层，层与层之间通过权重连接。前馈神经网络在便捷的分类和回归任务中表现良好，例如手写数字识别任务中，可以通过训练一个前馈神经网络来识别数字。

3.3循环神经网络模型（Recurrent Neural Network，RNN）

RNN适合处理序列材料，如时间序列内容、自然语言等。RNN的特点是隐藏层之间不仅有前馈连接，还有循环连接，使得它能够记住之前的信息。长短期记忆网络（LSTM）是RNN的一种改进，克服了传统RNN中梯度消失和梯度爆炸的问题，能够处理更长的序列，在自然语言处理中的语言建模、机器翻译等任务中应用广泛。

3.4卷积神经网络（Convolutional Neural Network，CNN）

重要用于处理图像、视频等具有网格结构的资料。它依据卷积层、池化层和全连接层等组件来提取素材的特征。卷积层中的卷积核可以在数据上滑动，提取局部特征，大大减少了模型的参数数量和计算量。在图像分类任务中，如AlexNet、VGGNet等经典的CNN模型都取得了非常好的效果。

3.5 Transformer

基于Transformer架构的。就是近年来兴起的一种模型架4构，在自然语言处理和计算机视觉等领域都有广泛应用。Transformer模型摒弃了循环结构，完全基于注意力机制（Attention）来捕捉输入序列中不同位置之间的依赖关系。它具有并行计算的优势，能够处理长序列数据，并且在机器翻译、文本生成等任务上表现出色，如BERT（Bidirectional Encoder Representations from Transformers）和GPT（Generative Pretrained Transformer）系列模型都

4.图神经网络（Graph Neural Network，GNN）

GNN是近年来出现的一种利用深度学习直接对图结构数据进行学习的框架，其优异的性能引起了学者高度的关注和深入的探索。通过在图中的节点和边上制定一定的策略，GNN 将图结构数据转化为规范而标准的表示，并输入到多种不同的神经网络中进行训练，在节点分类、边信息传播和聚类等任务上取得优良的效果。

总结：

本文主要是把基本概念串到一起，为之后的深入有个预备