摘要： 遗传算法 The survival of the fittest 达尔文生物进行论 孟德尔遗传定律 1962年,美国Michigan大学的Holland教授提出的模拟生物进化及遗传机制而成的一种并行随机搜索最优化算法. 1975年，Holland出版了第一本系统论述遗传算法和人工自适应系统的专著《A 阅读全文

摘要： [TOC] 引言 集成学习, 在机器学习中是一个非常重要的思想: 把多个弱分类器精巧地组合在一起,成为一个很强大的学习器. 集成学习也因此一直处在风口浪边. 集成学习主要分为bagging 及boosting, 二者分别(主要)解决偏倚 方差分解中的方差与偏倚. 目前, 一般会认为boosting的 阅读全文

摘要： 目录引言经典示例EM算法GMM 推导参考文献: 引言 Expectation maximization (EM) 算法是一种非常神奇而强大的算法. EM算法于 1977年 由Dempster 等总结提出. 说EM算法神奇而强大是因为它可以解决含有隐变量的概率模型问题. EM算法是一个简单而又复杂的算 阅读全文

摘要： [TOC] 引言 在深度神经网终(Deep Neural Network, DNN) 大热之前, 在机器学习里有个明星算法就是今天要与大家分享的 支持向量机(Support Vector Machine, SVM ). 它是昔日的明星, 虽然现在没有DNN风光, 但它依然是机器学习领域内耀眼的存在, 阅读全文

摘要： 集成学习二: Boosting 目录集成学习二: Boosting引言AdaboostAdaboost 算法前向分步算法前向分步算法Boosting Tree回归树提升回归树Gradient Boosting参考文献: 引言 集成学习,的第二种方式称为Boosting. 不同于bagging的民主投 阅读全文

摘要： ''团结就是力量'' 对问题进行建模时, 算法无论如何优化都无法达到我们的要求,又或者精准算法的实现或调优成本太大, 这时,我们就会想,能不能把几个算法或模型结合起来,以'集体'的力量来解决问题? 这就是集成学习产生的原因. 偏倚与方差 在俱体讲解集成学习之前,先介绍一个概念偏倚-方差. 衡量模型的 阅读全文

摘要： 以NASA之名: 卡尔曼滤波器 'That's one small step for man,one giant leap for mankind.' — Neil Alden Armstron 引言 二十世纪的阿波罗登月计划在人类历史上是浓墨重彩的一笔, 是人类科学发展极其重要的里程碑. 在此计划 阅读全文

摘要： 牛顿法与拟牛顿法 优化问题是机器学习中非常重要的部分,无论应用何种算法,构建何种模型,最终我们的目的都是找到最优解的. 那优化算法是无法回避的. 当今机器学习,特别是深度学习中, 梯度下降算法(gradient descent algorithm) 可谓炙手可热. 不过优化算法不只其一种,其他算法也 阅读全文

摘要： 高冷贵族: 隐马尔可夫模型 引言 大家都用过Siri,Cortana之类的语音助手吧? 当你对着手机说出'我的女朋友温柔吗?',Siri 或Cortana就会根据你说的这句话翻译成一段文字,然后再作应答. 先不管应答部分, 你可曾想过: Siri是如何将你说的话翻译成一段文字的?嗯,猜对了, 这里就 阅读全文

摘要： 炙手可热的LSTM 引言 上一讲说到RNN. RNN可说是目前处理时间序列的大杀器,相比于传统的时间序列算法,使用起来更方便,不需要太多的前提假设,也不需太多的参数调节,更重要的是有学习能力,因此是一种'智能'算法.前面也说到, 不只时间序列,在很多领域,特别是涉及序列数据的,RNN的表现总是那么的 阅读全文