回归 - 随笔分类 - hanzi5

Python实现softmax回归

摘要：1.Softmax回归概念Softmax回归可以用于多类分类问题，Softmax代价函数与logistic 代价函数在形式上非常类似，只是在Softmax损失函数中对类标记的 k\textstyle kk 个可能值进行了累加。注意在Softmax回归中将 x... 阅读全文

posted @ 2018-11-02 10:09 hanzi5 阅读(1279) 评论(0) 推荐(0)

摘要：1.逻辑回归概念逻辑分类（Logistic Classification）是一种线性模型，可以表示为y=f(w∗x+b)y=f(w*x+b)y=f(w∗x+b)，w是训练得到的权重参数（Weight）；x是样本特征数据(逻辑回归一般要求需要对x进行归一化处理... 阅读全文

posted @ 2018-10-30 15:13 hanzi5 阅读(938) 评论(0) 推荐(0)

摘要：接上篇5.局部加权线性回归局部加权线性回归（LWLR），在该算法中，我们给待预测点附近的每个点赋予一定的权重，在这个自己上基于最小均方差进行普通的回归，每次预测均需要先选取出对应数据子集。该算法接触回归系数w的形式如下：普通线性回归：w^=(XTX)−1⋅X... 阅读全文

posted @ 2018-10-24 15:28 hanzi5 阅读(1370) 评论(0) 推荐(0)

摘要：接上篇4.梯度下降算法《斯坦福大学公开课：机器学习课程》吴恩达讲解第二课时，是直接从梯度下降开始讲解，最后采用向量和矩阵的方式推导了解析解，国内很多培训视频是先讲解析解后讲梯度下降，个人认为梯度下降算法更为重要，它是很多算法（逻辑回归、神经网络）都可以共用... 阅读全文

posted @ 2018-10-23 16:07 hanzi5 阅读(424) 评论(0) 推荐(0)

摘要：线性回归模型是最简单的机器学习模型，基础可以从线性回归模型开始入手，慢慢地过渡到非线性回归以及神经网络模型。1.概念在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种... 阅读全文

posted @ 2018-10-18 14:49 hanzi5 阅读(1383) 评论(1) 推荐(0)

hanzi5