摘要：piplines 5个 方法 import json import os import requests class JsonPipeline(object): def __init__(self): self.file = open('xiaohua.txt', 'w') def process_ 阅读全文

摘要：经过一周+2天的努力，终于有点成果了，感觉好爽啊 http://123.184.17.251:8080/index.html 阅读全文

摘要：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 阅读全文

摘要：2. 高性能相关 基本原理： IO多路复用：select，用于检测socket对象是否发生变化(是否连接成功，是否有数据到来) Socket：socket客户端 import socket import select class Request(object): def __init__(self, 阅读全文

摘要：初步操作： scrapy startproject hello (创建hello项目) scrapy genspider chouti dig.chouti.com 创建一个spider scrapy crawl chouti运行spider 指定运行chouti这个项目 import scrapy 阅读全文

摘要：定义： 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 ******************************************* 阅读全文