在scrapy框架中使用selenium爬取强国论坛的新闻标题内容+redis增量式
本文仅供学习与交流，切勿用于非法用途！！！
第一部分（分析）：
图1：
图2：
图3：
图4：
图5：
图6：
图7：
第二部分（实现代码）：
实现爬取强国论坛的新闻标题内容，这里使用: scrapy startproject ProName > cd ProName >scrapy ganspider spiderName www.xxx.com 的scrapy工程和爬虫文件.
当然，也可以使用scrapy框架里面的CrawlSpider: scrapy startproject ProName > cd ProName > scrapy ganspider -t crawl spiderName www.xxx.com 实现爬取强国论坛的新闻标题内容.
1、创建好scrapy工程后，在配置文件settings.py里面设置USER_AGENT、日志级别和ROBOTSTXT_OBEY：
USER_AGENT = '自己设置User_Agent'
LOG_LEVEL = 'ERROR'##设置指定输出（报错的日志），减少CPU的使用率
ROBOTSTXT_OBEY = False #不遵从robots协议
****2、spiderName.py: ****
数据解析，获取到论坛新闻标题对应的url：
import scrapy
class PeopleSpider(scrapy.Spider):
name = 'spiderName'
# allowed_domains = ['www.xxx.com'] #把这个注释掉 用不到
start_urls = ['http://bbs1.people.com.cn/board/1/1_1.html']#论坛首页url
model_urls = []#动态加载数据的url
def parse(self, response):
li_list = response.xpath('/html/body/div[2]/div[3]/div[3]/ul/li')
for li in li_list:
detail_url = li.xpath('./p/a/@href').extract_first()#数据解析，获取到论坛新闻标题的url
self.model_urls.append(detail_url)#由于标题内容是动态加载的，把其作用到全局
手动请求发送，获取到下一页论坛新闻标题对应的url：
import scrapy
class PeopleSpider(scrapy.Spider):
name = 'spiderName'
# allowed_domains = ['www.xxx.com'] #把这个注释掉 用不到
start_urls = ['http://bbs1.people.com.cn/board/1/1_1.html']#论坛首页url
url = 'http://bbs1.people.com.cn/board/1/1_%d.html'#论坛下一页的通用url
pageNum = 2 #定义下一页的变量 进行手动请求发送
model_urls = []#动态加载数据的url
def parse(self, response):
li_list = response.xpath('/html/body/div[2]/div[3]/div[3]/ul/li')
for li in li_list:
detail_url = li.xpath('./p/a/@href').extract_first()#数据解析，获取到论坛新闻标题的url
self.model_urls.append(detail_url)#由于标题内容是动态加载的，把其作用到全局，使用selenium 来获取标题内容
if self.pageNum < 3:#结束递归的条件
new_url = format(self.url % self.pageNum)#下一页对应的完整url
self.pageNum += 1
yield scrapy.Request(url=new_url, callback=self.parse)#对下一页对应的url进行请求发生（手动请求发送）
使用selenium和请求传参：
在 items.py 里面：
class spiderNameproItem(scrapy.Item):#接受item对象
detail_url = scrapy.Field()
在 spiderName.py 里面：
import scrapy
from selenium import webdriver
from spiderName.items import spiderNameproItem
class PeopleSpider(scrapy.Spider):
name = 'spiderName'
# allowed_domains = ['www.xxx.com'] #把这个注释掉 用不到
start_urls = ['http://bbs1.people.com.cn/board/1/1_1.html']#论坛首页url
url = 'http://bbs1.people.com.cn/board/1/1_%d.html'#论坛下一页的通用url
pageNum = 2 #定义下一页的变量 进行手动请求发送
model_urls = []#动态加载数据的url
bro = webdriver.Chrome(executable_path='自己chromedriver的路径')
def parse(self, response):
item = spiderNameproItem()#实例化一个item对象，并且将解析到的数据储存到该对象中
li_list = response.xpath('/html/body/div[2]/div[3]/div[3]/ul/li')
for li in li_list:
detail_url = li.xpath('./p/a/@href').extract_first()#数据解析，获取到论坛新闻标题的url
self.model_urls.append(detail_url)#由于标题内容是动态加载的，把其作用到全局
for url in self.model_urls:
item['detail_url'] = url
yield scrapy.Request(url=url, callback=self.parse_model, meta={'item': item})#meta的作用是：可以将meta字典传递给callback
if self.pageNum < 3:#结束递归的条件
new_url = format(self.url % self.pageNum)#下一页对应的完整url
self.pageNum += 1
yield scrapy.Request(url=new_url, callback=self.parse)#对下一页对应的url进行请求发生（手动请求发送）
def parse_model(self,response):
item = response.meta['item']#接收传递过来的meta
'标题内容的数据解析部分就不写了'
yield item#提交给管道
def closed(self,spider):
self.bro.quit()#关闭selenium
在 middlewares.py 中间件里面：
from scrapy.http import HtmlResponse #scrapy 封装好的响应类
from selenium.webdriver.support.wait import WebDriverWait
#在 middlewares.py 里面class spidernameDownloaderMiddleware:前面的class类代码都干掉 只留下下面的类的三个方法
class spidernameDownloaderMiddleware:
def process_request(self, request, spider):
return None
def process_response(self, request, response, spider):#拦截所有响应对象
if request.url in spider.model_urls: #将拦截到的所有的响应对象中指定的标题内容动态加载的model_urls响应对象找出
bro = spider.bro
bro.get(request.url) #这里的request.url表示的就是指定的不满足需求的响应对象url
try:
WebDriverWait(bro,10).until(lambda el:bro.find_element_by_xpath('//*[@class="article scrollFlag"]'))#使用显示等待 等待标题内容的数据加载
except: # 处理bro发起请求时，有时因为某种原因使得页面一直处于加载状态，使得源代码一直不能返回的问题
bro.execute_script('window.stop()')
page_text = bro.page_source #捕获标题内容的数据
return HtmlResponse(url=request.url,body=page_text,encoding='utf-8',request=request) #这里返回一个新的返回对象，替换原来原来不满足需求的、旧的响应对象
else:
return response #这里的response表示的就是不指定 满足需求的响应对象
def process_exception(self, request, exception, spider):
pass
中间件弄好后，回到配置文件settings.py里面把中间件、管道（要对数据进去持久化存储的话）开启：
DOWNLOADER_MIDDLEWARES = {
'spiderName.middlewares.PeopleproDownloaderMiddleware': 543,
}
ITEM_PIPELINES = {
'spiderName.pipelines.PeopleproPipeline': 300,
}
加上增量式的代码 spiderName.py的完整代码如下：
这里实现的增量式是基于Redis数据库实现
import scrapy
from redis import Redis
from selenium import webdriver
from spiderName.items import spiderNameproItem
class PeopleSpider(scrapy.Spider):
name = 'spiderName'
# allowed_domains = ['www.xxx.com'] #把这个注释掉 用不到
start_urls = ['http://bbs1.people.com.cn/board/1/1_1.html']#论坛首页url
url = 'http://bbs1.people.com.cn/board/1/1_%d.html'#论坛下一页的通用url
pageNum = 2 #定义下一页的变量 进行手动请求发送
model_urls = []#动态加载数据的url
bro = webdriver.Chrome(executable_path='自己chromedriver的路径')
conn = Redis(host='127.0.0.1',port=6379) # 数据库链接对象
def parse(self, response):
item = spiderNameproItem()#实例化一个item对象，并且将解析到的数据储存到该对象中
li_list = response.xpath('/html/body/div[2]/div[3]/div[3]/ul/li')
for li in li_list:
detail_url = li.xpath('./p/a/@href').extract_first()#数据解析，获取到论坛新闻标题的url
self.model_urls.append(detail_url)#由于标题内容是动态加载的，把其作用到全局
for url in self.model_urls:
ex = self.conn.sadd('people_url',url) #ex==1插入成功，ex==0插入失败
if ex == 1:#表示url没有记录在redis数据库里面
item['detail_url'] = url
yield scrapy.Request(url=url, callback=self.parse_model, meta={'item': item})#meta的作用是：可以将meta字典传递给callback
if self.pageNum < 3:#结束递归的条件
new_url = format(self.url % self.pageNum)#下一页对应的完整url
self.pageNum += 1
yield scrapy.Request(url=new_url, callback=self.parse)#对下一页对应的url进行请求发生（手动请求发送）
def parse_model(self,response):
item = response.meta['item']#接收传递过来的meta
'标题内容的数据解析部分就不写了'
yield item#提交给管道
def closed(self,spider):
self.bro.quit()#关闭selenium
这是开启redis数据库跑这个工程的效果图：
本文可以借鉴学习，切勿照搬，根据自己分析的实际情况实现项目！！！
