2018年1月23日
爬虫框架_scrapy1
摘要： 介绍： Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Ass 阅读全文
posted @ 2018-01-23 12:46 一石数字欠我15w!!! 阅读(465) 评论(0) 推荐(0)
爬虫性能测试代码
摘要： # 同步执行，效率慢 # import requests # def parse_page(res): # print("PAESE %s" %(len(res))) # # def get_page(url): # print("GET %s" %url) # response = requests.get(url) # if response.status_c... 阅读全文
posted @ 2018-01-23 08:21 一石数字欠我15w!!! 阅读(586) 评论(0) 推荐(0)
爬虫性能相关知识点
摘要： <!--done--> 一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任 阅读全文
posted @ 2018-01-23 08:17 一石数字欠我15w!!! 阅读(496) 评论(0) 推荐(0)