NLP的前世今生
核心参考
浅显易懂的综述！https://zhuanlan.zhihu.com/p/50443871
写在前面
最近Kaiming的新文章让我心潮澎湃hhh，因此也就生出了系统了解一下NLP的想法（毕竟涉及到BERT了嘛哈哈哈哈）。碰巧遇到了这篇很nice多综述，那就以他为主干去系统的了解一下吧
通常来说，NLP中监督任务的基本套路都可以用三个积木来进行归纳：
- 文本数据搜集和预处理
- 将文本进行编码和表征
- 设计模型解决具体任务
历史的进程
CV的开端
ImageNet是2009年由李飞飞团队邓嘉等人提出，并迅速发展成为CV领域最知名的比赛ILSVRC，从2010年举办第一届，到2017年李飞飞宣布最后一届，前后总共举办8年，这八年间先后在这个比赛中涌现了一大批推动AI领域尤其是CV领域大发展的算法和模型。特别值得一提的是2012年Hinton团队提出了AlexNet，超过当时第二名效果41%，一下子引爆了AI领域，因此2012年也被称为“深度学习元年”
这时预训练
未完待续。。。。
