摘要：
在虚拟机里CD到你的scrapy某个项目的目录,再 1. scrapy shell + '网址'（注意引号） 2. response.xpath(' ')来提取 如: response.xpath('//table[@class="tablelist"]/tr[2]/td/a/text()').ex 阅读全文
posted @ 2019-01-21 15:23
山…隹
阅读(208)
评论(0)
推荐(0)
摘要：
不是python文件中的，而是在虚拟机中运行的命令行，先要workon进入虚拟环境 2.scrapy 框架的使用 -1.新建项目 命令：scrapy startproject <project_name> [project_dir] 注意：cd到想要创建项目的目录下 -2.编写爬虫 -手动编写 -1 阅读全文
posted @ 2019-01-21 12:07
山…隹
阅读(172)
评论(0)
推荐(0)
摘要：
import scrapy class Tzspider(scrapy.Spider): # spider的名字，唯一 name = 'tz' # 初始url列表 start_urls = ['https://www.shiguangkey.com/course/list'] # 每个url爬取之后会调用这个方法 def parse(self,... 阅读全文
posted @ 2019-01-21 12:05
山…隹
阅读(293)
评论(0)
推荐(0)
摘要：
1.scrapy的安装 -前提，最好用virtualenv 创建的虚拟环境安装 -windows -官方推荐用anaconda -自定已安装 -1.https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的twisted ，注意python的版本和32/64 阅读全文
posted @ 2019-01-21 11:28
山…隹
阅读(102)
评论(0)
推荐(0)
浙公网安备 33010602011771号