摘要: Pyspider pyspider的功能: 提供了方便易用的webUi系统,可视化地编写和调试爬虫 提供爬取进度监控、爬取结果查看、爬虫项目管理等功能 支持多种后端数据库,如mysql,mongodb、redis、sqllite等 支持多种消息队列,如rabbitMq,redis等 提供了优先级控制 阅读全文
posted @ 2019-05-15 23:06 Ivy丶 阅读(363) 评论(0) 推荐(0)