摘要: 一、CrawlSpider模板 创建项目 scrapy startproject 项目名称 查看模板 scrapy genspider -l 创建crawl模板 scrapy genspider -t crawl 爬虫名称 地址 二、Spider爬虫 # -*- coding: utf-8 -*- 阅读全文
posted @ 2019-06-17 15:10 brady-wang 阅读(246) 评论(0) 推荐(0)
摘要: 一、安装scrapy 首先安装依赖库Twisted pip install (依赖库的路径) 在这个网址http://www.lfd.uci.edu/~gohlke/pythonlibs#twisted 下面去寻找符合你的python版本和系统版本的Twisted 然后在安装scrapy框架 pip 阅读全文
posted @ 2019-06-17 15:09 brady-wang 阅读(531) 评论(0) 推荐(0)
摘要: 当我们使用: scrapy startproject taobao 命令创建好scrapy蜘蛛后,你是否注意到,下面还有这么一行内容: F:\scrapyTest> scrapy startproject taobao New Scrapy project 'taobao', using templ 阅读全文
posted @ 2019-06-17 15:06 brady-wang 阅读(10755) 评论(0) 推荐(1)