初步认识

1.np.dot()的广播机制，如果A是一维数组，.shape的结果是(n,)；B是二维数组，.shape的结果是(n,m)。np(A,B)会将A隐式转换为行向量,也就是.shape(1,m),最终返回一维数组的形状(m,)

2.神经元个数是“人为设定”的，开发者需要主动决定下一层的神经元数量

3.巧妙使用numpy多维数组（先dot再sigmoid）高效实现神经网络。

4.机器学习的问题大致可以分为分类问题和回归问题。
分类问题：数据属于哪一个类别的问题（区分图像中的人是男性还是女性）；激活函数一般用softmax函数
回归问题：根据输入预测一个连续数值的问题（根据一个人的图像预测这个人的体重），激活函数一般用恒等函数
激活函数将非线性特性引入到我们的网络中。

MLP：多层感知机/全连接层/密度层

5.DNN、RNN、CNN：
DNN是深度神经网络，又叫全连接（相邻层的所有神经元之间都有连接）网络，是个很广的概念。CNN RNN都属于其范畴之内。
RNN是循环神经网络，和CNN的一个关键区别就是可以处理不同长度的输入。RNN还有反馈循环。
学习：
https://www.bilibili.com/video/BV1UH4y1A7Bg/?spm_id_from=333.337.search-card.all.click&vd_source=9af20f19fbf329ea7e6440586339570d
共享权重，参数数量不会随着输入的变化而增长。但是RNN在时间上无法并行计算，是按时序做运算的。而且历史数据比较大的话，前面的历史数据容易丢失。
CNN是卷积神经网络，多了卷积层和池化层
全连接层的问题：数据的形状会被“忽视”
(1)卷积层
卷积层进行的处理：卷积运算，相当于滤波器（主要用于提取特定特征或增强/抑制某些信息。它们通过局部像素的加权计算，实现对图像的不同处理效果），有时候也会用“卷积核”来表示。
卷积层处理之前要填充，为了调整输出的大小。
特征图：卷积层的输入输出数据。1张特征图——通道数为1的特征图。
（2）池化层
池化是缩小高、长方向的空间的运算。
卷积一个比较好的地方是，可以做多个输出通道。

 每个滤波器的通道数必须=输入图像的通道数 

 CNN是空间维度往下减，channel维度往上拉。

batch：批量

残差连接的核心思想是将网络的输出表示为输入和输入的非线性变换的线性叠加。假设输入为 x，经过非线性变换后的输出为 F(x)，F通常包括了卷积，激活等操作。则残差连接的输出可以表示为：
H(x) = F(x) + x
其中，H(x) 是最终的输出，F(x) 是残差函数，x 是输入的恒等映射。

6.Transformer
https://www.bilibili.com/video/BV1pu411o7BE/?spm_id_from=333.337.search-card.all.click&vd_source=9af20f19fbf329ea7e6440586339570d
序列转录模型：给你一个序列生成另外一个序列（eg.给一句英文生成一句中文）
这个模型仅仅依赖于注意力机制，而没有用之前的循环或者卷积。并行度是比较高的。
编码器encoder的作用：将原始的输入（假使是长为n的序列）变成机器学习可以理解的一系列的向量
解码器decoder：拿到编码器的输出，生成一个长为m的序列。eg.英文句子翻译成中文句子，不一样长（m不一定等于n）。在编码器中很可能是一次性读完整个句子，但是解码器是一个一个生成词语的。在过去时刻的输出作为当前时刻的输入，这就叫“自回归”。
详见笔记本流程图。