网易NLP实习一面

网易伏羲实验室 NLP 实习面试

首次参加大厂的实习面试，一面被刷，深感自己太菜，因此开通博客记录日常学习内容，增强学习深度和广度，保留学习沉淀。

---

面试后回顾

由于应聘的是NLP实习岗，所以面试官仅关心简历上的NLP项目，对于CV项目根本不过问（NLP经历太少，仅有NER、文本分类）。没有被问到ML中常见的boosting、决策树、SVM等常见的算法，一道编程算法题（实现的MASK机制，感觉不难，但是对面试官的题意没有理解透彻，做完了没有检查，漏洞百出😭）

感觉面试官的提问自己平时都学习过，但是学习深度太浅。总之需要加强学习的深度，不能一味追求广度，同时要做到及时复习，以免出现学习过但是想不起来的尴尬局面😢

1. transformer的encoder很熟练，但是decoder有一个没答上来（好像是padding的机制，忘记了）
2. Bert为什么采用mask机制，有什么好处、为什么能编码上下文信息，与word2vec的优势在哪里等等
3. 简历中提到的项目如CRF、NER等回答的不够熟练，需要加强；
4. 激活函数的优缺点回答的不是很清楚
5. 回答时有些结巴，不能很清楚的表达自己的意思（理解不够深！）
6. 对岗位需求中提到的要了解一些（文本生成了解多少），起码目前最基础的难点、常用模型是什么，遗憾的是我只看了需求提到的模型压缩（跟面试官说了一堆模型压缩方式，估计不是减分项），文本生成实在来不及看了

---

面试提问

1. 激活函数sigmoid的缺点在哪里，相比之下relu有什么优点。relu的缺点有哪些
2. Bert的各种知识，比如相较于传统的language model(word2vec)，为什么bert可以融入更多的上下文信息；预训练任务为什么选择mask机制，不选择mask机制会有什么问题
3. Transformer的各个细节，尤其是decoder端的细节，其输入输出、padding、mask
4. 项目中NER所采用的数据集是什么，LSTM和CRF训练过程有什么需要注意的
5. self-attention中为什么采用缩放点积，不进行点积是否可以
6. ELMO、GPT相比Bert的劣势在哪里
7. 文本生成类任务有哪些（岗位需求中提到）
8. Bert的变种了解过哪些，如albert等
9. NLP基本的数据增强方式
10. 基础知识，如CRF的维特比算法的流程