2018年1月23日
爬虫框架 Scrapy
摘要： 一 介绍 crapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Ass 阅读全文
posted @ 2018-01-23 17:06 Python界-黄药师 阅读(323) 评论(0) 推荐(0)
爬虫高性能 asyncio库 twisted库 tornado库
摘要： 一 背景知识 二 同步、异步、回调机制 1、同步调用：即提交一个任务后就在原地等待任务结束，等到拿到任务的结果后再继续下一行代码，效率低下 import requests def parse_page(res): print('解析 %s' %(len(res))) def get_page(url 阅读全文
posted @ 2018-01-23 15:01 Python界-黄药师 阅读(2344) 评论(1) 推荐(2)