摘要：四、SVM支持向量机 1、代价函数 在逻辑回归中，我们的代价为： 其中： 如图所示，如果y=1，cost代价函数如图所示 我们想让，即z>>0，这样的话cost代价函数才会趋于最小（这正是我们想要的），所以用图中红色的函数代替逻辑回归中的cost 当y=0时同样用代替 最终得到的代价函数为： 最后我 阅读全文

摘要：三、BP神经网络 1、神经网络模型 首先介绍三层神经网络，如下图 输入层（input layer）有三个units（为补上的bias，通常设为1） 表示第j层的第i个激励，也称为单元unit 为第j层到第j+1层映射的权重矩阵，就是每条边的权重 所以可以得到： 隐含层： 输出层： 其中，S型函数，也 阅读全文

摘要：二、逻辑回归 1、代价函数 可以将上式综合起来为： 其中： 为什么不用线性回归的代价函数表示呢？因为线性回归的代价函数可能是非凸的，对于分类问题，使用梯度下降很难得到最小值，上面的代价函数是凸函数的图像如下，即y=1时： 可以看出，当趋于1，y=1，与预测值一致，此时付出的代价cost趋于0，若趋于 阅读全文

摘要：最近在GitHub上学习了有关python实现常见机器学习算法 目录 一、线性回归 1、代价函数 2、梯度下降算法 3、均值归一化 4、最终运行结果 5、使用scikit-learn库中的线性模型实现 二、逻辑回归 1、代价函数 2、梯度 3、正则化 4、S型函数 5、映射为多项式 6、使用的优化方 阅读全文

摘要：决策树是一种有监督学习算法，决策树可用于分类问题，也可用于回归问题。决策树的优点是可读性强，分类速度快。学习决策树时，通常采用损失函数最小化原则。 scikit-learn中有两类决策树，他们均采用优化的CART决策树算法。 1.回归决策树（DecisionTreeRegressor） Decisi 阅读全文

摘要：阅读了Python的sklearn包中随机森林的代码实现，做了一些笔记。 sklearn中的随机森林是基于RandomForestClassifier类实现的，它的原型是 class RandomForestClassifier(ForestClassifier) 继承了一个抽象类ForestCla 阅读全文