windows下pip install scrapyd不用新建配置文件

崔庆才的爬虫书上写道:pip install scrapyd安装完毕之后,需要新建一个配置文件/etc/scrapyd/scrapyd.conf,scrapyd在运行的时候会读取此配置文件

这是针对于Linux来说,但没有提到windows要不要新建。于是,我用Everything搜索了一下关键字scrapyd.c,发现在D:\program\Python37\Lib\site-packages\scrapyd目录下存在一个默认的配置文件default_scrapyd.conf

使用Notepad编辑一下,max_proc_per_cpu = 4改为10,即一台主机每个CPU最多运行10个scrapy任务,bind_address = 由127.0.0.1改为0.0.0.0,以使外网可以访问。保存即可

 

posted @ 2019-06-15 22:04  cnhkzyy  阅读(582)  评论(0编辑  收藏  举报