spiderkeeper使用教程

安装包

pip install scrapy
pip install scrapyd
pip install scrapyd-client
pip install spiderkeeper

进入到scrapy项目的根目录:

运行scrapyd

scrapyd

如果不出错就会生成一个scrapyd的服务。

打开对应页面

再另起窗口执行spiderkeeper命令

spiderkeeper

打开spiderkeeper的页面

默认用户名:admin
密码:admin

创建项目

点击Projects-》Create Project

打包egg文件

在scrapy的项目根目录,也就是和setting.py一个等级.

scrapyd-deploy -p chahao -v 1.0 --build-egg chahao.egg

-p后面加的是项目的名字,也就是scrapy爬虫文件的name,后面的内容可以不管,注意最后.egg的文件名规范就行。

点击deploy上传项目

提交以后看到部署成功即可。

执行项目

点击Dashboard然后点击Runonce选择对于的爬虫文件运行即可。

成功之后就可以看到上图的情况,刷新页面
可以查看爬虫的日志和运行状态,点击stop即可停止运行爬虫。

遇到坑

坑1:
提交完了之后,运行文件看不到东西。
看后台发现scrapyd出错了,错误如下

可知原因是项目中没有安装msgpack这个包,安装即可,通过这个错误可以知道,在提交项目到spiderkeeper对应的机器时
需要保证该机器的环境能正常运行程序。

posted @ 2019-05-09 09:31 公众号python学习开发 阅读(...) 评论(...) 编辑 收藏