费弗里

摘要： 一、简介 前面两篇文章我们围绕利用Python进行网络数据采集铺垫了很多内容，但光说不练是不行的，于是乎，本篇就将基于笔者最近的一项数据需求进行一次网络数据采集的实战； 二、网易财经股票数据爬虫实战 2.1 数据要求 在本部分中，我们需要采集的是海南板块中所有股票在2012年6月29日的所有指标数据 阅读全文

摘要： 一、简介 关于正则表达式，我在前一篇（数据科学学习手札31）中已经做了详细介绍，本篇将对Python中自带模块re的常用功能进行总结； re作为Python中专为正则表达式相关功能做出支持的模块，提供了一系列方法来完成几乎全部类型的文本信息的处理工作，下面一一介绍： 二、re.compile() 在 阅读全文

摘要： 一、简介 在实际的业务中，我们手头的数据往往难以满足需求，这时我们就需要利用互联网上的资源来获取更多的补充数据，但是很多情况下，有价值的数据往往是没有提供源文件的直接下载渠道的（即所谓的API），这时我们该如何批量获取这些嵌入网页中的信息呢？ 这时网络数据采集就派上用处了，你通过浏览器可以观看到的绝 阅读全文

摘要： 一、简介 要介绍朴素贝叶斯（naive bayes）分类器，就不得不先介绍贝叶斯决策论的相关理论： 贝叶斯决策论（bayesian decision theory）是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的 阅读全文

摘要： 一、简介 KNN（k-nearst neighbors，KNN）作为机器学习算法中的一种非常基本的算法，也正是因为其原理简单，被广泛应用于电影/音乐推荐等方面，即有些时候我们很难去建立确切的模型来描述几种类别的具体表征特点，就可以利用天然的临近关系来进行分类； 二、原理 KNN算法主要用于分类任务中 阅读全文

摘要： 一、简介 数据库管理系统（DBMS）最重要的功能就是提供数据查询，即用户根据实际需求对数据进行筛选，并以特定形式进行显示。在Microsoft SQL Serve 2012 中，可以使用通用的SELECT语句进行查询操作，该语句具有非常灵活的使用方式和丰富的功能，即可以完成简单的单表查询，也可以完成 阅读全文

摘要： 一、简介 在现实的机器学习任务中，我们往往是利用搜集到的尽可能多的样本集来输入算法进行训练，以尽可能高的精度为目标，但这里便出现一个问题，一是很多情况下我们不能说搜集到的样本集就能代表真实的全体，其分布也不一定就与真实的全体相同，但是有一点很明确，样本集数量越大则其接近真实全体的可能性也就越大；二是 阅读全文

摘要： 一、简介 作为集成学习中非常著名的方法，随机森林被誉为“代表集成学习技术水平的方法”，由于其简单、容易实现、计算开销小，使得它在现实任务中得到广泛使用，因为其来源于决策树和bagging，决策树我在前面的一篇博客中已经详细介绍，下面就来简单介绍一下集成学习与Bagging； 二、集成学习 集成学习（ 阅读全文

摘要： 一、简介 在现实的机器学习任务中，自变量往往数量众多，且类型可能由连续型（continuou）和离散型（discrete）混杂组成，因此出于节约计算成本、精简模型、增强模型的泛化性能等角度考虑，我们常常需要对原始变量进行一系列的预处理及筛选，剔除掉冗杂无用的成分，得到较为满意的训练集，才会继续我们的 阅读全文

摘要： 一、简介 逻辑回归（Logistic Regression），与它的名字恰恰相反，它是一个分类器而非回归方法，在一些文献里它也被称为logit回归、最大熵分类器（MaxEnt）、对数线性分类器等；我们都知道可以用回归模型来进行回归任务，但如果要利用回归模型来进行分类该怎么办呢？本文介绍的逻辑回归就基 阅读全文