随笔分类 -  ML

摘要:PCA在机器学习中经常被用到,是数据预处理的重要步骤。它主要基于以下考虑: 高维特征中很多特征之间存在相关性,含有冗余信息 相比于低维数据,高维数据计算更复杂 PCA的数学原理 如下图,平面上有很多二维空间的特征点,如果想对这些特征点做特征降维(变为一维),应该怎么做呢?大家应该都知道需要进行投影, 阅读全文
posted @ 2019-06-26 14:04 慕云深 阅读(3952) 评论(0) 推荐(0)
摘要:XGBoost是在GBDT(梯度提升决策树)基础上发展而来。 GBDT含有几个关键点:梯度提升,提升决策树,回归问题。 本质模型为加法模型,基函数为决策树,迭代拟合标注和模型的残差,来不断逼近损失函数最小化。更一般的情况,以当前模型在L负梯度方向的值,作为残差的近似。 XGBoost(eXtreme 阅读全文
posted @ 2019-03-28 10:21 慕云深 阅读(545) 评论(0) 推荐(0)
摘要:sklearn.svm.SVC(C=1.0, kernel='rbf', degree=3, gamma='auto', coef0=0.0, shrinking=True, probability=False, tol=0.001, cache_size=200, class_weight=Non 阅读全文
posted @ 2019-01-24 16:02 慕云深 阅读(463) 评论(0) 推荐(0)