摘要： 用 Scrapy 做好的爬虫使用 Scrapyd 来管理发布启动等工作，每次手动执行也很繁琐;考虑可以使用 Hangfire 集成在 web 工程里。 Scrapyd 中启动爬虫的请求如下: curl http://172.0.0.1:8081/schedule.json -d project=spider -d spider=jrj_spider -u name:pwd {"node_name... 阅读全文