随笔分类 -  自然语言处理基础知识

摘要：一、什么是过拟合 模型对训练的数据进行了过度的学习，没有学习到数据的一般规律，模型在训练数据中的错误越来越少，但是在验证集中的错误越来越大。 二、减少过拟合的方法 1.正则化（L1、L2正则化） L1正则化是尽量减少绝对值的权重，使w参数尽可能向0靠近，减小了网络复杂度，防止过拟合。 L2正则化在原 阅读全文

摘要：计算机并不能理解一个词语的意思，它是将词语转换成空间及位置从而进行理解，Ｗｏｒｄ２ｖｅｃ是词嵌入的一种方式，将计算机不可计算的词语转换成可以计算的向量，主要有两种训练的方法，ＣＢＯＷ和ｓｋｉｐ－Ｇｒａｍ，ＣＢＯＷ是用周围词来预测中心词，ｓｋｉｐ－Ｇｒａｍ是用中心词来预测周围词，在训练过程中，相似的词 阅读全文

摘要：机器学习的分类 机器学习主要分为监督学习和无监督学习，监督学习就是数据集中的每个样本都有正确的答案，比如回归问题和分类问题。无监督学习使用的数据集没有任何标签，让机器自己学习，比如聚类算法，主要学习了监督学习中的线性回归算法和逻辑回归算法。 线性回归 单变量线性回归算法，比如我们根据房子的面积去预测 阅读全文

摘要：CNN模型比较适合计算机视觉，他只有相邻的层之间才会有联系，但是对于一句话来说，前后之间是有一定的联系的，比如英语中一些词的单复数和主语有很大的关系，我们在判断时候就需要看一下前面的词，但是CNN模型只能看到上一层，再往前是看不到的，因此在自然语言处理中，ＣＮＮ模型是不合适的，而RNN模型的输出是受 阅读全文