随笔分类 - Python学习
摘要：文章目录机器学习模型评估分类模型回归模型聚类模型交叉验证中指定scoring参数网格搜索中应用机器学习模型评估以下方法，sklearn中都在sklearn.metrics类下，务必记住哪些指标适合分类，那些适合回归，不能混着用分类的模型大多是Classifi...
阅读全文
摘要：文章目录1.介绍2. scoring参数2.1 预定义的值2.2 从metric函数定义你的scoring策略2.3 实现你自己的scoring对象3. 分类metrics3.1 二分类/多分类/多标签3.2 accuracy_score3.3 Cohen’...
阅读全文
摘要：贝叶斯分类器原理：基于先验概率P(Y)，利用贝叶斯公式计算后验概率P(Y/X)（该对象属于某一类的概率），选择具有最大后验概率的类作为该对象所属类特点：数据可离散可连续；对数据缺失、噪音不敏感；若属性相关性小，分类效果好，相关也不低于决策树朴素贝叶斯算法学习...
阅读全文
摘要：参考文章：《Python大战机器学习》（不好，就是官方文档的中文版再加上几个简单的例子）数据挖掘十大算法–K近邻算法机器学习笔记—KNN算法常用样本相似性和距离度量方法KNN（K近邻法）输入为实例的特征向量，计算新数据与训练数据之间的距离，选取K个距离最近的...
阅读全文
摘要：导读上一篇文章写了如何爬取《The Atlantic》的新闻学习英语，这篇文章补充上一篇文章，在爬取文章段落时，同时调用翻译接口，到达如图所示的样子。如图，翻译的非常不错，借助的是彩云小译·程序猿都知道的翻译机。以下重点就是讲解如何抓包，使用彩云小译的第三方...
阅读全文
摘要：问题提出及正则化的引入正则化的提出同样是解决模型过拟合问题，之前提出的特征组合来训练模型，当训练次数足够多时，损失会降低到非常的低，但却会出现过拟合问题。如图迭代次数足够多，模型的复杂度也越高。可见一个好的模型和损失、模型的复杂度都有关。所以，训练优化算法是...
阅读全文
摘要：上次提到了通过划分数据集为训练集和测试集，并不断迭代训练模型，通过测试集对模型进行评估，进而不断调整超参数，来解决过拟合问题。但是还会出现问题 按数据集分成训练集和测试集不断迭代训练模型的方式，每次迭代时，我们都会对训练数据进行训练并评估测试数据，并以基于...
阅读全文
摘要：一直把axis 0为行 ，1为列来记的，今天再次使用时，对删除列drop中axis=1 和对行求均值时 axis=1，这里又有了些迷惑，所以特此记录。再次总结一下，axis=0 确保结果不更改列索引， axis=1 确保结果不变动行索引值（简写为axis行不...
阅读全文
摘要：泛化 (Generalization) 是什么先解释什么是泛化。Generalization，一般化，泛化。就是把训练所得模型应用于新的样本数据进行预测的过程。在模型的训练过程中，存在一种现象：模型与训练样本数据过于符合(匹配)，但未必对于新的数据也有非常O...
阅读全文
摘要：以下内容只需了解，理解更好；像梯度下降法这些机器学习算法都已经被机器学习框架所集成了，只要会用就好通过迭代减少损失梯度下降法个人对减小损失的理解理想的步长 α随机梯度下降法（SGD）小批量随机梯度下降法（小批量 SGD）通过迭代减少损失如图所示，机器学习...
阅读全文
摘要：线性回归模型视频和文章中分别描述了两个例子：通过房屋面积来预测房价，通过虫鸣声来预测温度通过虫鸣声来预测温度,如图线性关系很简单，不难理解，这里的 y’ 使我们预测的值，b 是偏差，W1 是特征1的权重，X1 是特征1对于多个特征 Xi 而言， 我...
阅读全文
摘要：问题提出 如何创建模型 如何结合输入的数据(信息)进行合理的预测 课程中是以垃圾邮件分类为案例展开的在训练垃圾分类模型时，我们会提供大量的有标签样本进行创建、学习、预测模型，然后通过无标签样本来预测该样本的标签所属。整个流程大概是这样，然后，什么是样本？标签...
阅读全文
摘要：Sklearn的安装pip install -U scikit-learn前提是要安装好numpy、scipy安装很顺利，但是导入包时报错如下 错误提示：numpy、scipy版本不能太旧，有可能和最新的Sklearn包不兼容，导致报错 如import skl...
阅读全文
摘要：前言在删除和修改DataFrame中的数据时，IPython报出了这个警告。虽然不影响程序执行，而且记得原来在pycharm下也执行过对df的修改但是没有问题，抱着好奇心去查了一番。内容极其相似，以至于完全是复制粘贴的文章，到处都是，看了一下感觉没道理。报错代码：df...
阅读全文
摘要：我使用这个函数就是用来清洗数据，删选过滤掉DataFrame中一些行。布尔索引这里你需要知道DateFrame中布尔索引这个东西，可以用满足布尔条件的列值来过滤数据，如下>>> df=pd.DataFrame(np.random.randn(4,4),columns=...
阅读全文
摘要：本文搜集我学习实战过程中看到的好文，和自己学习总结的一些文章，持续更新数据分析如何入门学习How do I learn data analysis with Python?虽然是英文的，不过看一遍很大收获（可以用百度翻译看一下）Numpy使用快速入门NumpyStac...
阅读全文
摘要：使用Pandas分块处理大文件问题：今天在处理快手的用户数据时，遇到了一个差不多600M的txt文本，用sublime打开都蹦了，我用pandas.read_table()去读，差不多花了近2分钟，最后打开发现差不多3千万行数据。这仅仅是打开，如果要处理不知得多费劲。...
阅读全文
摘要：抓包分析搜索页面影视资源页面5.22更新完善获取百度云，电驴等连接代码实现所需第三方库搜索页面5.22更新解析搜索页链接获取下载页跳转链接获取下载链接5.22更新，增加json文件格式美化转变，显示中文结果最近追剧时发现找资源挺繁琐的，网页切换来切换去耗时也多，所以就...
阅读全文
摘要：更新：Pandas使用DateFrame串联及附加操作先通过字典创建一个DateFrameimport pandas as pdimport numpy as npdata=dict.fromkeys(['first','second','third'])for i ...
阅读全文
摘要：pandas学习(两种数据结构DataFrame & Series)DataFrame(类似numpy的二维数组，是一种带标签的二维对象)有行索引&列索引(默认从0开始，可根据索引选值) 1. 创建方式：从另一个DataFrame创建从具有二维形状的Numpy数组(或...
阅读全文
浙公网安备 33010602011771号