webMagic+RabbitMQ+ES爬取京东建材数据
摘要：
本次爬虫所要爬取的数据为京东建材数据，在爬取京东的过程中，发现京东并没有做反爬虫动作，所以爬取的过程还是比较顺利的。 为什么要用WebMagic： WebMagic作为一款轻量级的Java爬虫框架，可以极大的减少爬虫的开发时间 为什么要使用MQ（本项目用的RabbitMq，其他的MQ也可以）： 解耦 阅读全文
posted @ 2017-12-12 17:26 阿姆斯特朗回旋炮 阅读(2461) 评论(3) 推荐(5) 编辑
