webmagic

Downloader-页面下载

PageProcessor-页面分析及链接抽取

Scheduler-URL管理

Pipeline-离线处理和持久化

spider.addPipeline(new ConsolePipeline()).addPipeline(new FilePipeline())

实现输出结果到控制台，并且保存到文件的目标。