随笔分类 - 机器学习
摘要：感知机是一种简单且易于实现的二分类判别模型，主要思想是通过误分类驱动的损失函数结合梯度下降发求解一个超平面将线性可分的数据集划分为两个不同的类别（+1类和-1类）。
在神经网络、支持向量机等算法盛行的当下，感知机模型应用得并不多，但必须承认，感知机却是神经网络和支持向量机的基础，所以还是很有必要学习一下的，本文接下来的内容将从感知机数学描述、损失函数、两种不同学习形式等方面详细介绍感知机，最后使用Python实现感知机两种学习形式。
阅读全文
摘要：K-means算法是一种基于距离的聚类算法，这类聚类算法以距离来度量对象间的相似性，两样本对象间距离越大，相似性越小。
阅读全文
摘要：上一篇博客中介绍了ID3和C4.5两种决策树算法，这两种决策树都只能用于分类问题，而本文要说的CART（classification and regression tree）决策树不仅能用于分类问题，也能用于回归问题。
阅读全文
摘要：我们每天都做着各种形形色色的决策——周末怎么嗨、是否买下衣服、出差选哪种交通工具等等，这些决策的过程我们用图形的形式表现出来就是一种类似树形的结构，将这种决策思想应用到机器学习算法领域，那就是我们本文要说的决策树算法。
阅读全文
摘要：本文将从算法原理出发，展开介绍KNN算法，并结合机器学习中常用的Iris数据集通过代码实例演示KNN算法用法和实现。
阅读全文
摘要：说到朴素贝叶斯算法，很自然地就会想到贝叶斯概率公式，这是我们在高中的时候就学过的知识，没错，这也正是朴素贝叶斯算法的核心，今天我们也从贝叶斯概率公式开始，全面撸一撸朴素贝叶斯算法。
阅读全文
摘要：逻辑不逻辑，回归非回归。
回想当年初次学习逻辑回归算法时，看到”逻辑回归“这个名字，第一感觉是这是一个与线性回归类似的回归类别的算法，只不过这个算法突出”逻辑“，或者与某个以”逻辑“命名的知识点有关。可后来却发现，这是一个坑死人不偿命的名字——逻辑回归算法不是回归算法，是分类算法，也与逻辑无关，要说有关也仅是因为它的英文名字是Loginstics，音译为逻辑而已（所以也有资料称之为逻辑斯蒂回归)。
阅读全文
摘要：线性回归算法应该是大多数人机器学习之路上的第一站，因为线性回归算法原理简单清晰，但却囊括了拟合、优化等等经典的机器学习思想。本篇详细介绍了线性回归算法的原理，并在最后使用代码实现了线性回归算法。
阅读全文
摘要：最小二乘法是机器学习中常用的优化算法，解释性强，求解方便快捷，但对噪声数据过于敏感，且只适用于线性模型，对于非线性模型，可结合梯度下降法等方式使用。
阅读全文
摘要：最近打算开始写一些关于机器学习方面的博客，在考虑从哪个算法开始着手。想了想还是从基础算法开始，例如本文要说的梯度下降。说梯度下降算法是基础中的基础绝不为过，我们必须承认，机器学习中，很多算法都与优化有关，梯度下降算法最受欢迎的一类优化算法，线性回归、逻辑回归、SVM、深度学习等等算法都用到了梯度下降。
阅读全文
浙公网安备 33010602011771号