叫我大表哥

2019年9月30日

摘要：写好自己的爬虫项目之后，可以自己定制爬虫运行的命令。一、单爬虫在项目的根目录下新建一个py文件，如命名为start.py，写入如下代码：运行start.py即可。二、多爬虫运行 1、在spiders的同级目录创建文件夹，如commands； 2、在这个新建的文件夹下创建一个py文件，如命名为阅读全文

posted @ 2019-09-30 20:17 叫我大表哥阅读(201) 评论(0) 推荐(0)

数据分析案例-拉勾网招聘信息

摘要： 1、导入模块配置中文 2、从csv中读取爬取得数据采集代码：https://github.com/song-zhixue/lagou 3、进行数据清洗这里我只做了简单得清洗就是去掉空值 4、根据城市招聘情况绘制饼图TOP10 5、根据学历绘制柱状图 6、根据工作经验绘制条形图 7、根据公司规模绘阅读全文

posted @ 2019-09-30 20:10 叫我大表哥阅读(722) 评论(0) 推荐(0)

爬虫之单线程多任务异步抓取

摘要：协程任务对象绑定回调多任务异步协程多任务异步爬虫 aiohttp使用案列阅读全文

posted @ 2019-09-30 14:53 叫我大表哥阅读(336) 评论(0) 推荐(0)

2019年9月17日

数据分析之matplotlib使用

摘要：绘制折线图参数详情显示中文的两种方式练习1 如果列表a表示10点到12点的每一分钟气温,如何绘制折线图观察每一分钟气温的变化情况 a = [random.randint(20,35) for i in range(120)] 练习2 练习3 自定义折线颜色绘制散点图练习绘制3月份和10月阅读全文

posted @ 2019-09-17 15:57 叫我大表哥阅读(692) 评论(0) 推荐(0)

数据分析之numpy使用

摘要：使用numpy生成数字生成的类型是ndarray类型 numpy常见的数据类型查看数组的形状(几行几列) 一维数组二维数组三维数组改变数组的形状数组的计算数组和数字进行计算(广播机制) 数组与数组之间的计算(形状相同) 数组和形状不一样的数组进行计算总结: 两个不同形状的数组只要在阅读全文

posted @ 2019-09-17 15:57 叫我大表哥阅读(674) 评论(0) 推荐(0)

2019年8月26日

GIT版本控制工具

摘要：一、GIT介绍 Git 是一个开源的分布式版本控制系统，用于敏捷高效地处理任何或小或大的项目。 Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。 Git 与常用的版本控制工具 CVS, Subversion 等不同，它采用了分布式版本库阅读全文

posted @ 2019-08-26 22:32 叫我大表哥阅读(678) 评论(1) 推荐(0)

scrapy框架之下载中间件

摘要：介绍中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。 “中间件”这个中文名字和前面章节讲到的“中间人”只有一字之差。它们做的事情确实也非常相似。中间件和中间人都能在中途劫持数据，做一些修改再把数据传递出去阅读全文

posted @ 2019-08-26 20:13 叫我大表哥阅读(1133) 评论(0) 推荐(0)

2019年8月25日

pandas入门之DataFrame

摘要：创建DataFrame 列表创建DataFrame 单个列表列表套列表 ndarrays/Lists[多维数组]的字典来创建DataFrame 指定索引字典列表创建DataFrame 【列表中套字典】使用字典，行索引和列索引列表创建DataFrame 从Series的字典来创建数据帧字典的系阅读全文

posted @ 2019-08-25 14:58 叫我大表哥阅读(1843) 评论(0) 推荐(0)

scrapy框架之Pipeline管道类

摘要： Item Pipeline简介 Item管道的主要责任是负责处理有蜘蛛从网页中抽取的Item，他的主要任务是清洗、验证和存储数据。当页面被蜘蛛解析后，将被发送到Item管道，并经过几个特定的次序处理数据。每个Item管道的组件都是有一个简单的方法组成的Python类。他们获取了Item并执行他们的方阅读全文

posted @ 2019-08-25 14:57 叫我大表哥阅读(4682) 评论(0) 推荐(0)

scrapy框架之log日志

摘要： scrapy中的debug信息在scrapy中设置log 1、在settings中设置log级别，在settings.py中添加一行： scrapy默认显示DEBUG级别的log信息 2、将输出的结果保存为log日志，在settings.py中添加路径： 3、显示log位置，在pipelines. 阅读全文

posted @ 2019-08-25 14:57 叫我大表哥阅读(4870) 评论(1) 推荐(0)

公告