随笔分类 -  机器学习

摘要：1.决策树的本质 if-then规则：决策树可以看做一个if-then规则的集合。我们从决策树的根结点到每一个叶结点的路径构建一条规则。 并且我们将要预测的实例都可以被一条路径或者一条规则所覆盖，且只被一条路径或者一条规则所覆盖（互斥完备）。 2.构造决策树算法 决策树学习的关键其实就是选择最优划分 阅读全文

摘要：1.凸集与凸函数 2.凸优化问题 3.拉格朗日乘子法 4.对偶问题,slater条件,KKT条件 1.凸集与凸函数 凸集：在点集拓扑学与欧几里得空间中，凸集是一个点集，其中每两点之间的直线上的点都落在该点集中。千言万语不如一张图来的明白，请看下图： 凸函数：一个定义在向量空间的凸子集C(区间)上的实 阅读全文

摘要：1.线性回归的一般形式 2.一般线性回归出现的问题及解决方法 2.1问题 2.2解决方法 3.正则化 4.岭回归与Lasso回归 4.1岭回归与lasso回归的异同 1.线性回归的一般形式 2.一般线性回归出现的过拟合问题及解决方法 2.1过拟合问题 数据少特征多容易发生过拟合问题 在统计学和机器学 阅读全文

摘要：SVM只选自己喜欢的男神，Softmax把所有备胎全部拉出来评分，最后还归一化一下 1.引入 为何种问题存在 2.Softmax回归的预设函数、代价函数 2.1Softmax函数 2.2Softmax回归的预设函数 2.3Softmax回归的代价函数 3.梯度下降法求解最优值 4.softmax r 阅读全文

摘要：总览： 1.摘要 2.问题引入 3.逻辑回归问题的几何描述 3.1通俗描述 3.2解析几何的知识找到逻辑回归问题的分界线 3.3从概率角度看待Z 4.构造代价函数求出参数的值 4.1构造代价函数（从极大似然函数引入） 4.2使用梯度下降法求解参数 5.从特征处理的角度重新梳理我们刚才的分析过程 1. 阅读全文