zhang_derek

21天打造分布式爬虫-Spider类爬取糗事百科（七）

摘要： 7.1.糗事百科安装 pip install pypiwin32 pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl pip install scrapy 创建和运行项目代码 qsbk_spider.py item.py pipelines.p 阅读全文

posted @ 2018-08-05 00:15 zhang_derek 阅读(814) 评论(0) 推荐(0)

21天打造分布式爬虫-Selenium爬取拉钩职位信息（六）

摘要： 6.1.爬取第一页的职位信息第一页职位信息 6.2.爬取所有页的职位信息阅读全文

posted @ 2018-08-03 23:20 zhang_derek 阅读(1211) 评论(0) 推荐(0)

21天打造分布式爬虫-多线程下载表情包（五）

摘要： 5.1.threading模块简单使用 5.2.生产者和消费者 Lock模式的生产者和消费者 5.3.下载表情包网址：http://www.doutula.com/photo/list/?page=1 解析：xpath 不用多线程，速度相对会很慢利用多线程 main() 定义两个队列，和创建多阅读全文

posted @ 2018-08-03 01:58 zhang_derek 阅读(1076) 评论(1) 推荐(1)

21天打造分布式爬虫-中国天气网和古诗文网实战（四）

摘要： 4.1.中国天气网网址：http://www.weather.com.cn/textFC/hb.shtml 解析：BeautifulSoup4 爬取所有城市的最低天气对爬取的数据进行可视化处理按温度对城市进行排名取前10个生成直方图代码：结果： 4.2.古诗文网网址：https:// 阅读全文

posted @ 2018-08-01 20:39 zhang_derek 阅读(1393) 评论(0) 推荐(0)

21天打造分布式爬虫-豆瓣电影和电影天堂实战（三）

摘要： 3.1.豆瓣电影使用lxml 3.2.电影天堂使用lxml 阅读全文

posted @ 2018-07-31 19:30 zhang_derek 阅读(1185) 评论(0) 推荐(0)

21天打造分布式爬虫-requests库（二）

摘要： 2.1.get请求简单使用添加headers和params 2.2.POST请求爬去拉钩网职位信息 2.3.使用代理 2.4.session登录阅读全文

posted @ 2018-07-28 20:30 zhang_derek 阅读(1233) 评论(0) 推荐(0)

21天打造分布式爬虫-urllib库（一）

摘要： 1.1.urlopen函数的用法 1.2.urlretrieve函数将网页上的文件保存到本地 1.3.参数编码和解码函数 urlencode函数用于编码中文和特殊字符 parse_qs函数用于将经过编码后的url参数进行解码。 1.4.urlparse和urlsplit函数用法 urlparse和阅读全文

posted @ 2018-07-28 14:08 zhang_derek 阅读(1306) 评论(1) 推荐(2)

redis的使用

摘要：一、简介 1.1.概念 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、a 阅读全文

posted @ 2018-06-05 15:29 zhang_derek 阅读(1405) 评论(1) 推荐(3)

Memcached的使用

摘要：一、安装和启动 Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程（daemon ）是用C写的，但是客阅读全文

posted @ 2018-06-05 10:48 zhang_derek 阅读(3731) 评论(0) 推荐(0)

12.Flask-Restful

摘要：定义Restful的视图安装：pip install flask-restful 如果使用Flask-restful,那么定义视图函数的时候，就要继承flask_restful.Resourse类，然后再根据当前请求的method来定义相应的方法。比如期望客户端是使用get方法发送过来的请求，那么阅读全文

posted @ 2018-06-01 10:49 zhang_derek 阅读(2235) 评论(0) 推荐(3)