scrapy：强大的爬虫框架
scrapyd：通过命令启动、终止操作爬虫
scrapydweb：页面可视化调度爬虫
scrapydAPI：集成api接口调度爬虫，可上github的scrapyd-api项目，和后端框架配合使用
