人工智能学习(下)

3.5.25 模型设计之卷积核设计

总结：

1）基于参数压缩的卷积核设计

2）基于感受野增加的卷积核设计

3）对卷积操作，近似优化的设计

---

3.5.26 模型设计之注意力机制⭐⭐⭐

低性能网络fc粗粒化处理，高性能网络ff细粒化处理

不同的通道有不同特征与权重

自注意力机制⭐⭐⭐

总结：

1）注意力机制概念，应用

2）空间注意力，通道注意力，以及它们的融合

3）自注意力机制，级联注意力机制

4）注意力机制以标准模块的方式，插入到各种各样的模型当中

---

3.5.27 模型设计之动态网络

加入dropout的网络就是动态变化的网络

动态网络不只是dropout

---

提前退出的策略

---

总结：

1）动态网络，为什么需要动态网络

2）基于合并策略的动态网络设计

3）基于注意力机制的动态网络设计

4）基于退出机制的动态网络设计

5）动态网络可以提高模型的表达能力，同时降低模型的参数量和计算量

---

3.5.28 深度生成模型基础

---

编码器⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐

---

---

生成器和判别器的对抗训练

---

总结：

1）监督学习和无监督学习

2）监督学习中的判别模型和生成模型

3）无监督学习的典型任务

4）生成模型的基础，原理

5）显式，隐式生成模型的基本思路

---

3.5.29 深度生成模型之自编码器与变分自编码器⭐⭐⭐

---

工程技巧：重采样

---

总结：

1）自编码器原理，结构

2）变分自编码器的原理，结构，模型的实现

---

3.5.30 深度生成模型之GAN基础

总结：

1）GAN原理，优化目标，优化目标面临的一些问题

---

3.5.31 深度生成模型之GAN优化目标设计与改进

总结：

1）关于GAN的优化目标，JS散度，梯度消散，爆炸

2）优化改进，最小损失GAN，WGAN，BEGAB，EBGAN，

3）这些优化目标，都是以损失函数的设计上，一方面提高模型的稳定性，一方面使模型生成更好的样本

4）训练技巧，工程技巧：归一化

---

3.5.32 从零使用GAN进行图片生成

---

3.5.33 深度生成模型之数据生成GAN结构与应用

到07分13秒

---

3.5.34 深度生成模型之GAN的评估

---

3.5.35 基于GAN的人脸图片超分辨

---