2020年5月22日
python scrapy项目下spiders内多个爬虫同时运行
摘要： 一般创建了scrapy文件夹后，可能需要写多个爬虫，如果想让它们同时运行而不是顺次运行的话，得怎么做？ a、在spiders目录的同级目录下创建一个commands目录，并在该目录中创建一个crawlall.py，将scrapy源代码里的commands文件夹里的crawl.py源码复制过来，只修改 阅读全文
posted @ 2020-05-22 11:19 洛洛沙 阅读(509) 评论(0) 推荐(0)