昂达达

摘要： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 阅读全文

摘要： 2. 高性能相关 基本原理： IO多路复用：select，用于检测socket对象是否发生变化(是否连接成功，是否有数据到来) Socket：socket客户端 import socket import select class Request(object): def __init__(self, 阅读全文