随笔分类 -  机器学习

【机器学习】CART+GBDT+Xgboost
摘要：一、CART（分类回归树） 1.思想： 一种采用基尼信息增益作为划分属性的二叉决策树。基尼指数越小，表示纯度越高。 2.回归： 每个节点都有一个预测值，预测值等于属于该节点的所有样例的平均值，分支时，选择每个属性的每个阈值的最好分割点，衡量的标准是最小化均方差。 训练：对训练样本的第i（1<=i<= 阅读全文
posted @ 2018-07-26 16:11 我若成风者 阅读(632) 评论(0) 推荐(0)
【机器学习】决策树-周志华
摘要：一、书籍 阅读全文
posted @ 2018-07-26 15:32 我若成风者 阅读(199) 评论(0) 推荐(0)
【机器学习】adaboost-周志华
摘要： 阅读全文
posted @ 2018-07-26 12:42 我若成风者 阅读(271) 评论(0) 推荐(0)
【机器学习】基础概念
摘要：一、经验、期望和结构风险 1.总结 经验风险是局部的，基于训练集所有样本点损失函数最小化的；期望风险是全局的，是基于所有样本点的损失函数最小化的。 经验风险函数是现实的，可求的；期望风险函数是理想化的，不可求的。 结构风险是对经验风险和期望风险的折中。 2.参考： https://blog.csdn 阅读全文
posted @ 2018-07-24 17:10 我若成风者 阅读(314) 评论(0) 推荐(0)
【深度学习】常用损失函数
摘要：一、Smooth L1 Loss 1.公式： 2.原因： L1损失使权值稀疏但是导数不连续，L2损失导数连续可以防止过拟合但对噪声不够鲁棒，分段结合两者优势。 L1 Loss的导数是常数，那么在训练后期，当预测值与 ground truth 差异很小时， L1 Loss 损失对预测值的导数的绝对值仍 阅读全文
posted @ 2018-07-21 12:25 我若成风者 阅读(1470) 评论(0) 推荐(0)
【机器学习】感知机+线性回归+逻辑斯蒂回归+softmax回归
摘要：一、感知机 1.模型和图像： 2.数学定义推导和优化： 3.流程 4.参考资料 https://blog.csdn.net/wodeai1235/article/details/54755735 二、线性回归 1.定义及解析解： a=(XTX) -1 XTy，如加2范数约束则解析解为a=(XTX+λ 阅读全文
posted @ 2018-07-20 21:12 我若成风者 阅读(997) 评论(0) 推荐(0)
【机器学习】LDA-周志华
摘要：一、书籍 阅读全文
posted @ 2018-07-18 14:09 我若成风者 阅读(431) 评论(0) 推荐(0)
【机器学习】常用算法
摘要：一、SVM 1.基本思想 基于训练集找到一个划分超平面，能将不同类别的样本分开。 方法是最大化不同类支持向量到超平面的距离。用拉格朗日乘子法求解问题。 SV M也可以做回归。 2.推导 3.核函数 可能非线性可分，即不存在一个超平面能分开正负样本，此时可将原始样本映射到更高维的空间，使其线性可分。 阅读全文
posted @ 2018-07-17 22:12 我若成风者 阅读(395) 评论(0) 推荐(0)