摘要：@ "toc" WebMagic框架包含四个组件， 、`Scheduler Downloader Pipeline`。 这四大组件对应爬虫生命周期中的处理、管理、下载和持久化等功能。 这四个组件都是 中的属性，爬虫框架通过 启动和管理。 总体架构图 一，WebMagic的四大组件 负责解析页面，抽取 阅读全文

摘要：一，什么是网络爬虫？ 网络爬虫（web crawer），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。 1，入门程序 环境准备 （1）jdk1.8 （2）idea环境 （3）maven （4）需要导入httpClient的依赖。（去 阅读全文