【python3】基于scrapyd + scrapydweb 的可视化部署

 

一、部署组件概览

 

      该部署方式适用于 scrapy项目、scrapy-redis的分布式爬虫项目

      需要安装的组件有:

     1、scrapyd  服务端 【运行打包后的爬虫代码】(所有的爬虫机器都要安装)    

   2、logparser 服务端  【解析爬虫日志,配合scraoydweb做实时分析和可视化呈现】(所有的爬虫机器都要安装)         

   3、scrapyd-client  客户端 【将本地的爬虫代码打包成 egg 文件】(只要本地开发机安装即可)

   4、Scrapydweb  可视化web管理工具 【爬虫代码的可视化部署管理】(只要在一台服务器安装即可,可以直接用爬虫机器,这边直接放在172.16.122.11)

 

二、各组件安装步骤

  

      1、scrapyd  服务端 (所有的爬虫机器都要安装)         

    用途:运行打包后的爬虫代码,可以通过api调用访问

           安装命令: pip install scrapyd   

           修改配置: 安装完成后,修改 default_scrapyd.conf ,文件路径  /home/spider/workspace/env/lib/python3.6/site-packages/scrapyd

                              修改绑定地址,允许外部访问;另外,建议修改以下相关的文件路径 ,否则这些文件夹默认生成在 安装路径下;

           

      

           运行命令:nohup scrapyd > /dev/null & 

           访问地址:http://172.16.122.11:6800/

       

 

      2、logparser 服务端 (所有的爬虫机器都要安装)         

    用途:解析爬虫日志,配合scraoydweb做实时分析和可视化呈现

           安装命令: pip install logparser 

           修改配置: 安装完成后,修改 settings.py,文件路径  /home/spider/workspace/env/lib/python3.6/site-packages/logparser     

                              将要解析的日志路径修改为   scrapyd   的日志路径                               

      运行命令:nohup logparser > /dev/null & 

 

      3、scrapyd-client  客户端  (只要本地开发机安装即可)

           用途:将本地的爬虫代码打包成 egg 文件

           安装命令: pip install scrapyd-client

           修改配置: 安装完后,执行 scrapyd-deploy  -h ,如果找不到命令,则单独写一个bat文件 scrapyd-deploy.bat 放到 script 目录下即可

@echo off
D:\Anaconda3\python.exe D:\Anaconda3\Scripts\scrapyd-deploy %*

 

   

           

 

      4、Scrapydweb  可视化web管理工具(只要在一台服务器安装即可,可以直接用爬虫机器,这边直接放在172.16.122.11)

      用途: 爬虫代码的可视化部署管理

           安装命令: pip install Scrapydweb

           创建文件夹:mkdir scrapydweb; cd scrapydweb

           执行命令:scrapydweb (会在当前目录下生成配置文件 scrapydweb_settings_v10.py)

           修改配置: scrapydweb_settings_v10.py    【另外,   修改data路径时如果不会生效,那么同时要修改默认配置文件的data路径,可能是个bug, 默认配置文件路径: /home/spider/workspace/scrapydweb_env/lib/python3.6/site-packages/scrapydweb/default_settings.py 】           

 

 

 

   

           修改完配置文件后,再次执行 nohup scrapydweb  > /dev/null &

           访问地址:http://172.16.122.11:5000

          

三、爬虫代码打包

       工具:scrapyd-client  (在上一步已安装)

       打包命令:在工程目录下执行,SP是工程名称  scrapyd-deploy -p SP --build-egg=SP.egg 

       关于爬虫代码需要注意的事项和egg文件说明:

                 1. 打包后的egg文件其实就是爬虫代码编译后的压缩文件,所以比原来的代码文件要小很多;

                 2. egg文件只打包了爬虫代码,不包含环境代码,也就是说,在scrapyd服务端运行的时候,python环境需要先安装好爬虫运行所需的所有包;

                 3. 在工程代码中,比如 setting 中最好不要有生成文件路径的做法(比如默认生成日志文件夹),否则打包成egg后,上传时可能会报错;因为上传的时候,也会在服务端编译,这个时候就可能会出现 生成文件夹 的 权限报错;

                 4. 如果想要使用 scrapydweb 的实时日志分析,那么在爬虫代码中,不要指定日志路径,否则运行时,日志会写到你指定的路径而无法分析;不指定路径,运行爬虫时,日志会输出到 scrapyd 预先设置好的 logs 里面,前面 logparser(日志解析服务)已经配置好 读取该位置的日志,从而实现实时分析;

 

 

四、可视化管理Scrapydweb教程  

  

  1、部署工程(有两种方式,方式1:是配置里面写死路径,自动打包;方式2:上传打包好的egg文件;举例为方式2 

     

 

   部署成功

 

             

  2、运行爬虫,启动一次爬虫就是一个作业,会自动分配一个作业号;后续可以根据这个作业号,查看作业情况

 

   爬虫启动成功

   查看所有爬虫服务器的作业队列

   查看作业报告 

  

  3、作业相关(查看历史作业情况)

    日志分析

 

  

  4、增加定时作业,具体的操作和运行爬虫一样,无非就是多个时间的设置

 

  5、还有其他的一些功能,上传本地日志进行分析;设置邮件之类的,有兴趣的再自行摸索

  

posted @ 2019-12-10 20:31  TurboWay  阅读(1530)  评论(0编辑  收藏  举报