import scrapy

class StackOverflowSpider(scrapy.Spider):
    name="stackoverflow"
    start_urls=["http://stackoverflow.com/questions?sort=votes"]


    def parse(self,response):
        for href in response.css('.question-summary h3 a::attr(href)'):  #得到爬取的地址
            full_url=response.urljoin(href.extract())
            yield scrapy.Request(full_url,callback=self.parse_question)

    def parse_question(self,response):
        yield{
            'title':response.css('h1 a::text').extract()[0],
            'votes':response.css(".question .vote-count-post::text").extract()[0],
            'body':response.css(".question .post-text").extract()[0],
            'tags':response.css('.question .post-tag::text').extract(),
            'link':response.url,
        }

 

命令行运行代码 scrapy runspider 文件名.py -o 存储文件名.csv

 

1.在xx.py文件中找到已定义的爬虫,然后通过抓取引擎运行爬虫

 

2.具体的抓取过程:

1)使用start_urls作为初始url生成Request,并默认把parse作为它的回调函数。

2)在parse中采用css选择器获得目标的URL,并注册parse_question作为目标URL的回调函数

 

背后的处理:

1.请求被异步的调度,处理。

2.有一些参数可以控制过程,比如每个域名/ip的并发请求数,请求直接的下载延迟(或者自动调节)

posted on 2017-11-01 18:06  郑哲  阅读(128)  评论(0编辑  收藏  举报