机器学习算法总结（一）

        感知机：这是最简单的一个机器学习算法，不过有几点还是要注意一下。

                   首先是损失函数的选取，还有为了使损失函数最小，迭代过程采用的梯度下降法，最后得到最优的w,b

                   直观解释就是，调整w,b的值，使分离超平面向误分类点移动，以减小误分点与超平面的距离，直至超平面

             越过误分类点使其被正确分类。

       K近邻：

               给定一个训练数据集，对新输入的实例，在训练数据集中找到与该实例最近的K个实例，这K个实例多数属于某个

         类，就把该输入实例分为某个类。

              值得注意的是为了实现K近邻算法所采用的KD树。它是为了减小计算距离的次数所采用的一种特殊的存储结构。它的

        实现和搜索是要学会的。

    朴素贝叶斯：

            通过训练数据集学习联合概率分布，然后基于此模型，对给定的输入X，利用贝叶斯定理求出后验概率最大的输出Y。

            它的最大特点是，对条件概率分布作了条件独立性的假设，也就是说分类特征在类确定的条件下都是独立的。

    对回归方法的认识：   

           线性回归假设特征和结果满足线性关系。

           为了评估预测的好坏，我们定义了一个错误函数，通过使错误函数最小，来选取最优的参数值，需要注意的是，为什么要选取

      误差函数为平方和。

          为了使错误函数最小，可以采用：梯度下降法、最小二乘法 。

         分类和对数回归：

               回归一般不用在分类问题上，因为回归是连续模型，而且受噪声影响较大。要想将其用于分类，需要引入对数回归。

               对数回归： 本质上是线性回归，先把特征线性求和，然后使用一层映射函数来分类。

               softmax回归：对数回归一般是针对二分类问题的，softmax回归可用于多类别。