摘要：逻辑回归名字比较古怪，看上去是回归，却是一个简单的二分类模型。 逻辑回归的模型是如下形式： 其中x是features，θ是feature的权重，σ是sigmoid函数。将θ0视为θ0*x0（x0取值为常量1），那么 这里我们取阈值为0.5，那么二分类的判别公式为： 下面说一下参数θ的求解： 为啥子这 阅读全文

摘要：引用自知乎，原文链接 https://www.zhihu.com/question/41775291 阅读全文

摘要：最近可能会用到CNN，今天回顾一下，并找到了一些大神的精华帖，顺便做个总结。 CNN是时下非常火的一种深度学习算法，它是一种前馈神经网络，即神经元只与前后层有联系，在同一层的神经元无联系。笔者用下面这张图用来说明卷积神经网络的工作原理 这是一个识别字母的CNN结构图，最左边是32*32像素的输入，然 阅读全文

摘要：正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出 阅读全文

摘要：说到xgboost，不得不说gbdt，两者都是boosting方法（如图1所示），了解gbdt可以看这篇文章 地址。 如果不考虑工程实现、解决问题上的一些差异，xgboost与gbdt比较大的不同就是目标函数的定义。 注：红色箭头指向的l即为损失函数；红色方框为正则项，包括L1、L2；红色圆圈为常数 阅读全文

摘要：今天要介绍的最小二乘法是用来做参数估计的方法，笔者把同济大学高等数学第六版下册翻了一下，觉得书中所讲句句珠玑，已经无可挑剔了，就“照本宣科”了。 “许多工程问题，常常需要根据两个变量的几组实验数值——实验数据，来找出这两个变量的函数关系的近似表达式，通常把这样得到的函数的近似表达式叫做经验公式，经验 阅读全文

摘要：机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其 阅读全文

摘要：应朋友之约，在这里简要谈一下过拟合的问题。 给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。这是Tom Mitchell在Machine Learning中对过拟合给出的定义 阅读全文

摘要：本篇以信息增益最大作为最优化策略来详细介绍决策树的决策流程。 首先给定数据集，见下图 注：本数据来源于网络 本篇将以这些数据作为训练数据（虽然少，但足以介绍清楚原理！），下图是决策树选择特征的流程 图中entropy代表决策树在根节点处的信息熵，Entropy(age)表示用age这个特征作为分支节 阅读全文

摘要：机器学习按数据的使用方式来说可以分为有监督学习、无监督学习、半监督学习、强化学习等，机器学习中的算法还有另外一种划分方式：分类、聚类、回归。但我更喜欢分为两种：广义的分类（分类+聚类）和回归，这里是按照预测的结果是离散数据还是连续数据来划分的。今天要介绍的决策树就是分类算法中的一种。 在介绍机器学习 阅读全文