摘要： 有了第九课SVD分解的基础，PCA降维的原理理解起来就比较容易了。 1、PCA降维原理 先回到SVD分解，对矩阵A进行SVD分解，得到下式： A = U * S * V 其中V是正交矩阵，即V*VT=E，对上式进行一下转化： A * VT = U * S * V * VT A * VT = U * 阅读全文

摘要： 大学里的《线性代数》学过矩阵的加减乘法操作，计算起来也比较简单，比如现有矩阵A和B，取值如下： A是2*3的矩阵，B是3*2的矩阵，C很容易求得一个2*2的矩阵： 上面的计算过程，相信很多人都会，但现在的问题，如何求矩阵C由哪些矩阵相乘而得？这个问题估计会的人就不多了，其实这是一个矩阵分解的问题，也 阅读全文

摘要： 市面上常用的机器学习算法，也就剩下KNN、朴素贝叶斯、决策树、随机森林这些算法了，这些算法各有优劣，适用不同的场景，没有谁能把所有其他的算法干掉而统一天下。 下面将通过准确率、耗时两个维度，来对比KNN、朴素贝叶斯、决策树、随机森林这几个算法的性能。 1、构建数据集，并拆分为训练集和测试集 调用Sk 阅读全文

摘要： 1、算法概述 随机森林是一种集成学习方法，其理论基础是决策树。 随机森林由随机+森林两个词组成，这两个词非常精确的描述了随机森林算法的本质，随机说明了算法具有一定的随机性，体现在算法在选取数据集时，会随机从行和列两个方向筛选出子样本，比如图1和图2显示了随机森林两棵子树A和B所选取的数据集是不同的， 阅读全文

摘要： 决策树(Decision Tree)是为数不多存活下来的机器学习算法之一，因其良好的性能和可解释性，被广泛应用于生产和生活当中。 1、决策树初体验 图1是一个女方是否决定相亲的决策树示例，通过年龄、长相、收入、职业四个维度进行决策判断，媒人同时介绍了两个男方，男方一：25岁、中等相貌、中等收入、IT 阅读全文

摘要： 第一课、AI导论 (已更) 第二课、机器学习导论(已更) 第三课、特征工程(已更) 第四课、KNN最近邻算法(已更) 第五课、朴素贝叶斯算法(已更) 第六课、决策树(已更) 第七课、随机森林(已更) 第八课、常用机器学习算法性能对比(已更) 第九课、SVD分解(已更) 第十课、PCA降维(已更) 第 阅读全文

摘要： 朴素贝叶斯算法是机器学习中目前一个还在使用的算法，其依托于贝叶斯公式的概率计算，可用于NLP等分类任务。朴素贝叶斯算法的朴素，是因为其有2个较强或较主观的前提假设： 样本间的特征(属性)是相互独立的 样本特征(属性)取值服从高斯(正态)分布 由于自然界的数据分布五花八门，给定一个数据集，但其服从什么 阅读全文

摘要： 中国有句俗语“近朱者赤，近墨者黑”，这句话非常精准地点出了KNN最近邻算法的精髓。 1、算法思想 KNN算法在分类任务和回归任务上有稍许不同，但主流程是相同的，下面分别阐述。 1）分类任务 对于某个待分类点P，先找出距离P点最近的N个邻居，然后使用投票的方式统计出P点对应的分类，即统计这N个邻居分属 阅读全文

摘要： AI领域的大神们Bengio和Lecun等人在《Gradient-Based Learning Applied to Document Recognition》论文中划定了AI模型的玩耍范式，如下图所示，无论任何模型，在做分类或回归前，都必须有一个数据特征提取(Feature Extraction) 阅读全文

摘要： 机器学习是AI的一个研究分支，有别于专家系统等基于规则的老式AI。 机器学习分为传统基于统计学算法的机器学习和基于神经网络的深度学习，传统的机器学习算法基本已经没有优化的空间，几十年前到现在基本没变过，但由于其对数学要求比较高，一般需要博士生来研究优化机器学习算法，而深度学习正处于探索发展的阶段，也 阅读全文