Java 的爬虫框架学习研究

1. http://www.geccocrawler.com/

2. http://webmagic.io/

 

前段时间使用了webmagic，没有深入研究，没理解透整个框架逻辑，也可能是不符合自己的业务逻辑，随后使用了okhttp和jsoup解决了问题，个人感觉使用框架并非好事，需要遵循框架逻辑，出了问题也需要跟着框架逻辑去找，逻辑简单的话，直接用okhttp和jsoup来解决，写出来的代码逻辑更清晰