2018年8月14日
Python之分布式爬虫
摘要： 什么是分布式爬虫?通俗来讲,分布式爬虫就是多台机器多个spider对多个url的同时处理操作,分布式的方式可以极大提高程序的抓取效率 分布式爬虫一般要配合redis数据库使用,原因有3点:(1)redis数据库可... 阅读全文
posted @ 2018-08-14 10:16 小火火火 阅读(192) 评论(0) 推荐(0)