摘要：
1基本概念 数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。 因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之 阅读全文
posted @ 2019-01-16 21:52
Hear7
阅读(4283)
评论(0)
推荐(0)
摘要：
什么是跨域？ 跨域是指一个域下的文档或脚本试图去请求另一个域下的资源，这里跨域是广义的。 广义的跨域： 1.) 资源跳转： A链接、重定向、表单提交 2.) 资源嵌入： <link>、<script>、<img>、<frame>等dom标签，还有样式中background:url()、@font-f 阅读全文
posted @ 2019-01-14 16:30
Hear7
阅读(1178)
评论(0)
推荐(0)
摘要：
一、pandas简单介绍 1、pandas是一个强大的Python数据分析的工具包。2、pandas是基于NumPy构建的。 3、pandas的主要功能 具备对其功能的数据结构DataFrame、Series 集成时间序列功能 提供丰富的数学运算和操作 灵活处理缺失数据 4、安装方法：pip ins 阅读全文
posted @ 2019-01-12 14:34
Hear7
阅读(288)
评论(0)
推荐(0)
摘要：
一、简单介绍Matplotlib 1、Matplotlib是一个强大的Python绘图和数据可视化的工具包 2、安装方法：pip install matplotlib 3、引用方法：import matplotlib.pyplot as plt 4、绘图函数：plt.plot() 5、显示图像：pl 阅读全文
posted @ 2019-01-11 21:38
Hear7
阅读(175)
评论(0)
推荐(0)
摘要：
numpy介绍 创建numpy的数组 一维数组是什么样子 可以理解为格子纸的一行就是一个一维数据 two_arr = np.array([1, 2, 3]) 二维数组什么样子 理解为一张格子纸, 多个一维数组构成一个二维数组 two_arr = np.array([ [1, 2, 3], [4, 5 阅读全文
posted @ 2019-01-11 17:38
Hear7
阅读(296)
评论(0)
推荐(0)
摘要：
https://blog.csdn.net/fengltxx/article/details/79894839 阅读全文
posted @ 2019-01-11 14:59
Hear7
阅读(308)
评论(0)
推荐(0)
摘要：
一：MySQL存储引擎简介 MySQL有多种存储引擎，每种存储引擎有各自的优缺点，大家可以择优选择使用：MyISAM、InnoDB、MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)、EXAMPLE、FEDERATED、ARCHIVE、CSV、BLACKHOLE。 MySQL支持数 阅读全文
posted @ 2019-01-10 21:07
Hear7
阅读(339)
评论(0)
推荐(0)
摘要：
scrapy-redis组件安装 分布式实现流程 scrapy-redis组件安装 - 下载scrapy-redis组件：pip install scrapy-redis - 更改redis配置文件： 注释该行：bind 127.0.0.1，表示可以让其他ip访问redis 将yes该为no：pro 阅读全文
posted @ 2019-01-10 19:52
Hear7
阅读(228)
评论(0)
推荐(0)
摘要：
UA池 代理池 selenium在Scrapy中的应用 UA池 - 下载中间件： - 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 - 作用： - 引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 User 阅读全文
posted @ 2019-01-10 19:51
Hear7
阅读(672)
评论(0)
推荐(0)
摘要：
CrawlSpider简介 CrawlSpider使用 CrawlSpider简介 CrawlSpider其实是Spider的一个子类，除了继承到Spider的特性和功能外， 还派生除了其自己独有的更加强大的特性和功能。 其中最显著的功能就是”LinkExtractors链接提取器“。 Spider 阅读全文
posted @ 2019-01-10 19:48
Hear7
阅读(240)
评论(0)
推荐(0)
浙公网安备 33010602011771号