深度学习相关

选⾮CV/NLP的热⻔⽅向，论⽂多、代码多，容易follow，并且还能⽤CV/NLP的新技术

多层感知机（MLP），卷积神经⽹络（CNN）、循环神经⽹络（RNN、LSTM、GRU）、注意⼒机制（Attention），它们⼤约出现在了⽬前80%以上的论⽂当中，是当之⽆愧的王者算法。

普遍认为对模型性能有影响的模型设置有：Adam优化器，学习率递减策略、正则化、参数初始化、seed选择，模型超参数

⼀个深度学习算法通常有：数据处理层、训练层、模型层、⼯具类函数等。

组合创新我认为是⽅法创新的⼀种，在这⾥我单拎出来。 组合创新通常遵循：（ 基准模型+模块 ）这么⼀个思路。基准模型最好是最新的顶会顶刊的模型（例如Transformer，u-net⽹络等），模块也是顶会顶刊提出的某个具体算法，例如卷积、图卷积、注意⼒等。

去了解⼀些经典的、最新的顶会顶刊的模型框架，以及具体的模块，通过总结，然后组合出⼀个属于你⾃⼰的模型。
组合创新 = 基准模型 （Transformer, U-Net） + 模块 (Attention、GCN、CNN)

基准模型，可以是Transformer、UNet这种成熟的框架，我们只需要对其中的模块进⾏修改替换即可；也可以是近两年的顶会顶刊模型，将它们的框架拿来⽤，但是模块要进⾏修改替换；⼜或者是串⾏并⾏等简单结构。

基准模型 = 论⽂模型 - 模块 (Attention、GCN、CNN等等) = MLP + Add + Norm + 连接⽅式。
基准模型是模型的模板，也就是说，它的架构不能变，但是模块可以变。

统计nlp领域四大顶会：ACL、EMNLP、COLING、NAACL近三年所有录用长文的研究方向。前两年没什么研究，最近一年开始猛增的方向说明这个方向处在研究热点的早期，能填的坑还比较多，较容易发论文。