摘要： 本文结构： CART算法有两步 回归树的生成 分类树的生成 剪枝 CART － Classification and Regression Trees 分类与回归树，是二叉树，可以用于分类，也可以用于回归问题，最先由 Breiman 等提出。 分类树的输出是样本的类别， 回归树的输出是一个实数。 C 阅读全文

摘要： 一、多变量线性回归模型 标准线性回归的理论知识很简单，我们既可以写出它的标量表达式也可以写成矩阵的形式，其中矩阵的形式也可以通过投影矩阵进行推到得到。本部分就对标准线性回归的表达式进行下简单的推导。 给定一组数据其中包括特征矩阵 , 目标变量向量 : 其中 第一列为截距项，我们做线性回归是为了得到一 阅读全文

摘要： 1. 概述 1.1 集成学习 目前存在各种各样的机器学习算法，例如SVM、决策树、感知机等等。但是实际应用中，或者说在打比赛时，成绩较好的队伍几乎都用了集成学习(ensemble learning)的方法。集成学习的思想，简单来讲，就是“三个臭皮匠顶个诸葛亮”。集成学习通过结合多个学习器(例如同种算 阅读全文

摘要： SVM 是一个非常优雅的算法，具有完善的数学理论，虽然如今工业界用到的不多，但还是决定花点时间去写篇文章整理一下。 1. 支持向量 1.1 线性可分 首先我们先来了解下什么是线性可分。 在二维空间上，两类点被一条直线完全分开叫做线性可分。 严格的数学定义是： 和 是 n 维欧氏空间中的两个点集。如果 阅读全文

摘要： 逻辑回归（对数几率回归） 逻辑回归是一种分类算法，不是回归算法，因为它用了和回归类似的思想来解决了分类问题。 一句话总结逻辑回归：“逻辑回归假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的”。 1.广义线性模型 我们先来看看线性回归模型： 但是假设我们 阅读全文

摘要： 要想了解贝叶斯分类，我们首先要了解概率论中一个我们在生活中中常用的，却又没有觉察的小知识，条件概率。 条件概率，顾名思义，是在某种条件下或者某个特征下的概率。我们这里不再讨论先验和后验概率，以防大家迷糊。只讨论条件概率，更利于大家理解。 举个例子，假设一个学校里有60%男生和40%女生。女生穿裤子的 阅读全文

摘要： 给定两个单词（beginWord 和 endWord）和一个字典，找到从 beginWord 到 endWord 的最短转换序列的长度。转换需遵循如下规则：每次转换只能改变一个字母。转换过程中的中间单词必须是字典中的单词。 解题思路如下：看到最短路径，首先想到的事BFS。然后找到转换路径方法，也就是 阅读全文

摘要： 熵，一个神奇的工具，用来衡量数据集信息量的不确定性。 首先，我们先来了解一个指标，信息量。对于任意一个随机变量X，样本空间为{X1,X2，...,Xn}，样本空间可以这么理解，也就是随机变量X所有的可能取值。如果在ML领域内，我们可以把Xi当做X所属的某一个类。对于任意的样本Xi（类Xi），样本Xi 阅读全文

摘要： 力扣135题。老师想给孩子们分发糖果，有 N 个孩子站成了一条直线，老师会根据每个孩子的表现，预先给他们评分。你需要按照以下要求，帮助老师给这些孩子分发糖果： 每个孩子至少分配到 1 个糖果。相邻的孩子中，评分高的孩子必须获得更多的糖果。 其实这道题目的本质，考察的是单调序列，一个脑筋急转弯。 孩子 阅读全文