MLP-Mixer: An all-MLP Architecture for Vision 纯MLP架构

典型的MLP结构包括三层：input、hidden、output。不同层之间都是全联接的。

MLP-Mixer完全利用基础的矩阵乘法运算和数据变换以及非线性层来完成复杂数据集的分类任务。

Step 1:将图像转成token作为后续模型的输入（该过程与ViT一致）

 　　　　

MLP-Mixer可以靠channel-mixing MLPs层结合不同channels的信息，也可以靠token-mixing MLPs层结合不同空间位置的信息。

 

 MLP1是token-mixing MLPs，在输入的列上操作，即对输入进行转置，所有列共享参数，得到的输出再次转置；MLP2是channel-mixing MLPs作用在输入的行上，共享参数MLP2

Step 2: 经过Mixer layer之后进入分类头

补充：MLP-Mixer没有使用位置编码信息，是因为Mixer layer的两种MLP对输入顺序比较敏感。