2020年7月5日
scrapy 管理部署的爬虫项目的python类
摘要： 这个类可以比较方便的去管理你的爬虫服务 # 测试浏览器弹窗的验证: import requests from urllib import parse import logging logging.basicConfig(level=logging.INFO) class ScrapyManager( 阅读全文
posted @ 2020-07-05 18:43 那时一个人 阅读(180) 评论(0) 推荐(0)
docker 部署爬虫服务的命令
摘要： docker run -p 6800:6800 --name scrapy -e USERNAME=admin -e PASSWORD=admin cdrx/scrapyd-authenticated 命令中USERNAME=admin -e PASSWORD=admin 指定nginx服务的访问账 阅读全文
posted @ 2020-07-05 17:32 那时一个人 阅读(221) 评论(0) 推荐(0)
scrapy 部署的项目带有验证,怎样启动项目
摘要： import requests session = requests.session() url = 'http://IP:6800/schedule.json' data = dict( project='scrapy_rere', spider='rere', ) # 需要加上你的爬虫服务账密: 阅读全文
posted @ 2020-07-05 17:03 那时一个人 阅读(113) 评论(0) 推荐(0)