摘要: WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic,你可以快速开发出一个高效、易维护的爬虫。 一、WebMagic的四个组件 1.Downloader Downloader负责从互联网上下载页面,默认使用apache HttpClient作为下载工具 2.PageProcesso 阅读全文
posted @ 2019-03-26 17:03 杨岂 阅读(220) 评论(0) 推荐(0)