摘要：
近些年来，随着深度学习的崛起，RNN模型也变得非常热门。如果把RNN模型按照时间轴展开，它也类似其它的深度神经网络模型结构。因此，我们可以参照已有的方法训练RNN模型。 现在最流行的一种RNN模型是LSTM（长短期记忆）网络模型。 尽管我们可以借助Tensorflow、Torch、Theano等深度 阅读全文
摘要：
我们知道max，假如说我有两个数，a和b，并且a>b，如果取max，那么就直接取a，没有第二种可能。但有的时候我不想这样，因为这样会造成分值小的那个饥饿。所以我希望分值大的那一项经常取到，分值小的那一项也偶尔可以取到，那么我用softmax就可以了 现在还是a和b，a>b，如果我们取按照softma 阅读全文
摘要：
熵的本质是香农信息量()的期望。 现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。 按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为：H(p)=。 如果使用错误分布q来表示来自真实分布p的平均编码长度，则应该是：H(p,q)=。因为用q来编码的样本来自 阅读全文
摘要：
pass :不做任何事情，只起到占位的作用 continue: 跳出本次循环 break：结束循环 exit（）：结束整个程序 由于continue和break较简单，这里就不给出代码 阅读全文
摘要：
类是什么 可以视为种类或者类型的同义词。所有的对象都属于某一个类，称为类的实例。 例如：鸟就是"鸟类"的实例。这就是一个有很多子类的一般（抽象）类：看到的鸟可能属于子类"百灵鸟"。可以将"鸟类"想象成所有鸟的集合，而"百灵鸟类"是其中的一个子集。当一个对象所属的类是另外一个对象所属类的子集时，前者就 阅读全文
摘要：
在之前博客中，我们对Boosting家族的Adaboost算法做了总结，本文就对Boosting家族中另一个重要的算法梯度提升树(Gradient Boosting Decison Tree, 以下简称GBDT)做一个总结。GBDT有很多简称，有GBT（Gradient Boosting Tree） 阅读全文
摘要：
这是我在博客园的第一篇文,个人之前一直在新浪发文，鉴于广告和篇幅还是选择博客园，以后和大家多多交流切磋。 集成学习(ensemble learning) 它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务。集成学习可以用于分类问题集成，回归问题集成，特征选取集成，异常点 阅读全文