摘要： 特征离散化处理 问题抽象假设训练样本集合D中有n个样本，考察对连续属性a的最佳分段点/划分点。若属性a在这n个样本中有m个不同的取值(m<=n)，对这m个值两两之间取中点，可获得m-1个中点作为候选划分点。 选择过程接下来的选择最佳划分点过程和离散属性的虚选择过程类似，以基尼系数或信息增益作为度量， 阅读全文

摘要： https://blog.csdn.net/real_myth/article/details/51824193 池化层的作用： 感受野变化。。。？？ 1*1卷积核的作用 1. 实现跨通道的交互和信息整合 2. 进行卷积核通道数的降维和升维，减少网络参数 https://www.zhihu.com/ 阅读全文

摘要： 1、集成学习概述 1.1 集成学习概述 集成学习在机器学习算法中具有较高的准去率，不足之处就是模型的训练过程可能比较复杂，效率不是很高。目前接触较多的集成学习主要有2种：基于Boosting的和基于Bagging，前者的代表算法有Adaboost、GBDT、XGBOOST、后者的代表算法主要是随机森 阅读全文

摘要： weight decay（权值衰减）的最终目的是防止过拟合。在损失函数中，weight decay是放在正则项（regularization）前面的一个系数，正则项一般指示模型的复杂度，所以weight decay的作用是调节模型复杂度对损失函数的影响，若weight decay很大，则复杂的模型损 阅读全文

摘要： from https://www.zhihu.com/question/30672734 下面从梯度与方向导数的关系来解释： 1 方向导数 引入 引入 原来我们学到的偏导数指的是多元函数沿坐标轴的变化率，但是我们往往很多时候要考虑多元函数沿任意方向的变化率，那么就引出了方向导数 定义 定义 （1）方 阅读全文

摘要： http://blog.csdn.net/stdcoutzyx/article/details/49022443 http://www.dataguru.cn/article-10459-1.html 阅读全文

摘要： 深度学习分类问题结尾就是softmax,损失函数是交叉熵，本质就是极大似然。。。 阅读全文

摘要： 今天终于想明白了分层softmax的作用： 哈夫曼树的作用是什么？？用平均最小的长度编码！编码是为了解码成信息！ 神经概率语言模型：有映射层，隐藏层，输出层，假设隐藏层是300维，输出层是和单词的数量相等的，因为传统Softmax的原因，比如有10000的词，那么参数就是300*10000=3000 阅读全文

摘要： from http://blog.csdn.net/ericcchen/article/details/72357411 KL散度( KL divergence) 全称：Kullback-Leibler Divergence 用途：比较两个概率分布的接近程度 在统计应用中，我们经常需要用一个简单的， 阅读全文

摘要： https://www.zhihu.com/question/35486862 阅读全文