2021年1月24日
【笔记】逻辑回归中使用多项式（sklearn）
摘要： ##在逻辑回归中使用多项式特征以及在sklearn中使用逻辑回归并添加多项式 ###在逻辑回归中使用多项式特征 在上面提到的直线划分中，很明显有个问题，当样本并没有很好地遵循直线划分（非线性分布）的时候，其预测的结果是不太准的，所以可以引用多项式项，从线性回归转换成多项式回归，同理，为逻辑回归添加多 阅读全文
posted @ 2021-01-24 15:41 DbWong_0918 阅读(1397) 评论(0) 推荐(0)
【笔记】决策边界
摘要： ##决策边界 逻辑回归的原理详见这里 总的来说，可以总结为一个式子 而决策边界就是 其为两个为两个向量的点乘，同时也可以代表一条直线，如果X有两个特征 转换成可以具体实现的式子以后可以得到 具体的实现 （在notebook中） 使用自己编写的回归算法，且依旧使用鸢尾花数据集 import numpy 阅读全文
posted @ 2021-01-24 15:33 DbWong_0918 阅读(850) 评论(0) 推荐(0)
【笔记】实现逻辑回归算法
摘要： ##实现逻辑回归算法 实现代码 在python chame中创建LogisticRegression.py文件，写入想要实现的功能 其中，可以将原先的LinearRegression复制过来，详情可见以前的关于线性回归的博客，修改类名，不用的功能直接删除，添加上sigmoid函数以及计算结果概率向量 阅读全文
posted @ 2021-01-24 15:26 DbWong_0918 阅读(170) 评论(0) 推荐(0)
【笔记】浅谈逻辑回归以及逻辑回归的损失函数
摘要： ##逻辑回归算法 逻辑回归算法的概念不咋叙述 逻辑回归算法看上去是解决回归问题的算法，但是其实是解决的分类问题，那么回归算法是如何解决分类问题呢？逻辑回归的原理是将样本的特征和样本发生的概率联系起来，即预测这个样本的发生概率是多少，而这个概率是一个数，因此可称这个为回归问题 对于机器算法来说，其本质 阅读全文
posted @ 2021-01-24 15:20 DbWong_0918 阅读(1380) 评论(0) 推荐(0)
2021年1月21日
【笔记】简谈L1正则项L2正则和弹性网络
摘要： ##L1,L2,以及弹性网络 前情提要： 模型泛化与岭回归与LASSO ###正则 ridge和lasso的后面添加的式子的格式上其实和MSE，MAE，以及欧拉距离和曼哈顿距离是非常像的 虽然应用场景不同，但是其表示出来的数学思想是非常相近的 对明科夫斯基距离进行泛化可以得到 对于任何向量x，都可以 阅读全文
posted @ 2021-01-21 23:00 DbWong_0918 阅读(551) 评论(0) 推荐(0)
【笔记】模型泛化与岭回归与LASSO
摘要： ##模型泛化与岭回归与LASSO ###模型正则化 模型正则化，简单来说就是限制参数大小 模型正则化是用什么思路来解决先前过拟合的由于过于拟合导致的曲线抖动（线性方程前的系数都很大） 线性回归的目标就是求一个最优解，让损失函数尽可能的小也就是使求出来的均方误差尽可能的小 如果过拟合的话，就会让the 阅读全文
posted @ 2021-01-21 22:57 DbWong_0918 阅读(530) 评论(0) 推荐(0)
【笔记】偏差方差权衡 Bias Variance Trade off
摘要： ##偏差方差权衡 Bias Variance Trade off 什么叫偏差，什么叫方差 根据下图来说 偏差可以看作为左下角的图片，意思就是目标为红点，但是没有一个命中，所有的点都偏离了 方差可以看作为右上角的图片，意思就是目标为红点，虽然还在周围，没有太偏，但是太过分散了，不够集中，这就有很高的方 阅读全文
posted @ 2021-01-21 22:46 DbWong_0918 阅读(223) 评论(0) 推荐(0)
【笔记】验证数据集与交叉验证
摘要： ##验证数据集与交叉验证 一些相关前提： 过拟合和欠拟合以及为什么要对分为训练数据集和测试数据集 可视化模型误差之学习曲线 ###验证数据集 严格意义上来说，使用训练数据集和测试数据集来进行是有不太好的地方，这样得出来的模型，可能导致一个问题，即这个最后得到的模型是过拟合了这个特定的测试数据集 不断 阅读全文
posted @ 2021-01-21 22:45 DbWong_0918 阅读(844) 评论(0) 推荐(0)
【笔记】可视化模型误差之学习曲线
摘要： ###学习曲线 在过拟合和欠拟合以及为什么要对分为训练数据集和测试数据集中绘制了模型复杂度曲线，那么如果还想用别的方法可视化过拟合和欠拟合的关系的话，可以使用学习曲线 什么是学习曲线？ 学习曲线描述的就是随着训练样本的逐渐增多，算法训练出的模型的表现能力的变化 具体实现体现一下 （在notebook 阅读全文
posted @ 2021-01-21 17:40 DbWong_0918 阅读(1017) 评论(0) 推荐(0)
【笔记】过拟合和欠拟合以及为什么要对分为训练数据集和测试数据集
摘要： ##过拟合和欠拟合以及为什么要对分为训练数据集和测试数据集 ###过拟合和欠拟合 有了多项式回归以后，就可以比较轻松地用线性回归来求解非线性的问题了，不过过于使用可能会导致过拟合和欠拟合 先使用实际的例子来说明过拟合和欠拟合 （在notebook中） 加载好包，创建好虚假的数据集x和y，设置随机种子 阅读全文
posted @ 2021-01-21 16:54 DbWong_0918 阅读(1239) 评论(0) 推荐(0)