随笔分类 -  搜索

Mac自己搭建爬虫搜索引擎scrapy+redis+elasticsearch+kibana
摘要：1.引言 看上一次失败的尝试，用apache nutch，发现走不通。不过，如果采用低版本，也许是可行的，但用旧版比较别扭，只好放弃了。 不过其中elasticsearch, kibana部分是可以重用的，只是替换nutch为scrapy + scrapy_redis。 2.基本的scrapy爬虫 阅读全文
posted @ 2017-08-17 17:13 Zen_Garden 阅读(960) 评论(0) 推荐(0)