你的撒凋零呦

摘要： 机器学习的优化目标 一，梯度下降法 batch梯度下降法： 随机梯度下降SGD 线性衰减然后保持为常数 梯度爆炸和悬崖 解决方法：梯度阶段 启发式梯度截断干涉以减少步长 二，动量法 在参数更新时考虑历史梯度信息 Nesterov动量法 阅读全文

摘要： 数据维度灾难需要降维 实际数据会有很多的维度，但对数据处理时，不能将所有数据的维度都当做一个参数，那样就会导致我们口中的维度灾难 那么，维度灾难该怎么处理呢 1主要成分分析 基本思想：构造原始特征的一系列线性组合形成的线性无关低纬特征，以去除数据的相关性，并使降维后的数据最大程度的保持原始高维数据的 阅读全文

摘要： 数学基础：凸函数与Jensen不等式 凸函数：弦在弧上 聚类：样本没有类别标签，一种典型的无监督学习方法 相同类的样本之间距离较近 不同类的样本之间距离较远 K-means模型 模型求解： 交替迭代法： 固定c优化r, 固定r优化c， 固定c，优化r 固定r，优化c K-Means算法流程 1，随机 阅读全文

摘要： 一，模型提升方法 模型误差来源： 逼近误差 估计误差：训练到的函数与模型空间最好的函数的距离 线性到非线性模型： 线性回归：多项式回归 支持向量机 决策树：空间划分的思想来处理非线性数据 决策树的生成： 从根节点开始，选择对应特征 选择节点特征分割点 二，节点特征和分割点的选择 不纯度：表示落在当前 阅读全文

摘要： 点到平面距离： 梯度下降法： 最大似然法： 如何做分类？ 感知机： 找到一条直线将两类数据分开 支持向量机： 找到一条直线将两类数据分开，还要使数据离直线尽可能的远 逻辑回归： 使观察到训练集的“可能性”最大 分类问题的评价指标： 阅读全文

摘要： 回归： 指用一个或多个自变量预测因变量的数学方法 一元线性回归： 模型为y=w1x+w0 目标是所有样本落在直线附近 多元线性回归： 多重共线性：变量之间存在较强的共线性，对参数估计得不准确，造成过度拟合的现象 LASSO系数压缩估计方法 误差： 阅读全文

摘要： 一，大数据的基本公式： 机器学习就是在获得很多组的x数据和y数据以后获得F映射的一个过程 深度学习是机器学习的一部分，就是在获得data后提取出x数据的过程 如果数据y用来模仿人类的行为，例如自动驾驶等，就称其为人工智能 二，机器学习方法分类： 1，有监督学习 就是数据y包含已经有的结果标签 用处： 阅读全文

摘要： 集成算法用一些相对较弱的学习模型独立地就同样的样本进行训练，然后把结果整合起来进行整体预测。集成算法的主要难点在于究竟集成哪些独立的较弱的学习模型以及如何把学习结果整合起来。这是一类非常强大的算法，同时也非常流行。 常见的算法包括：Boosting， Bootstrapped Aggregation 阅读全文

摘要： 基于核的算法中最著名的莫过于支持向量机了。 基于核的算法把输入数据映射到一个高阶的向量空间， 在这些高阶向量空间里， 有些分类或者回归问题能够更容易的解决。 常见的基于核的算法包括：支持向量机， 径向基函数， 以及线性判别分析等。 仅作了解 阅读全文

摘要： 深度学习算法是对人工神经网络的发展。 在近期赢得了很多关注， 特别是百度也开始发力深度学习后， 更是在国内引起了很多关注。 在计算能力变得日益廉价的今天，深度学习试图建立大得多也复杂得多的神经网络。很多深度学习的算法是半监督式学习算法，用来处理存在少量未标识数据的大数据集。 常见的深度学习算法包括： 阅读全文