摘要： 引言在许多自然语言处理任务中，许多单词表达是由他们的tf-idf分数决定的。即使这些分数告诉我们一个单词在一个文本中的相对重要性，但是他们并没有告诉我们单词的语义。Word2vec是一类神经网络模型——在给定无标签的语料库的情况下，为语料库中的单词产生一个能表达语义的向量。这些向量通常是有用的： 通 阅读全文

摘要： 梯度下降是机器学习中用来使模型逼近真实分布的最小偏差的优化方法。 在普通的随机梯度下降和批梯度下降当中，参数的更新是按照如下公式进行的： W = W - αdW b = b - αdb 其中α是学习率，dW、db是cost function对w和b的偏导数。 随机梯度下降和批梯度下降的区别只是输入的 阅读全文

摘要： 定义 定义 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/rem 阅读全文

摘要： mySQL （关系型数据库管理系统） MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Manage 阅读全文

摘要： https://blog.csdn.net/qq_25737169/article/details/78847691 产生消失的梯度问题的原因 先看一个极简单的深度神经网络：每一层都只有一个单一的神经元。如下图： 代价函数C对偏置b1的偏导数的结果计算如下： 先看一下sigmoid 函数导数的图像： 阅读全文

摘要： 一、早停法简介（Early Stopping）当我们训练深度学习神经网络的时候通常希望能获得最好的泛化性能（generalization performance，即可以很好地拟合数据）。但是所有的标准深度学习神经网络结构如全连接多层感知机都很容易过拟合：当网络在训练集上表现越来越好，错误率越来越低的 阅读全文