Java开源爬虫框架-WebMagic

WebMagic

 webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发

设计原理

编辑

webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。

webmagic包含页面抽取功能，开发者可以使用css selector、xpath和正则表达式进行链接和内容的提取，支持多个选择器链式调用。

使用maven

webmagic使用maven管理依赖，在项目中添加对应的依赖即可使用webmagic：

1 2 3 4 5 6 7 8 9 10

<dependency>     <groupId>us.codecraft</groupId>     <artifactId>webmagic-core</artifactId>     <version>0.7.3</version> </dependency> <dependency>     <groupId>us.codecraft</groupId>     <artifactId>webmagic-extension</artifactId>     <version>0.7.3</version> </dependency>

WebMagic 使用slf4j-log4j12作为slf4j的实现.如果你自己定制了slf4j的实现，请在项目中去掉此依赖。

1 2 3 4 5 6

<exclusions>     <exclusion>         <groupId>org.slf4j</groupId>         <artifactId>slf4j-log4j12</artifactId>     </exclusion> </exclusions>

项目结构

编辑

webmagic主要包括两个包：

• webmagic-core
  webmagic核心部分，只包含爬虫基本模块和基本抽取器。webmagic-core的目标是成为网页爬虫的一个教科书般的实现。
• webmagic-extension
  webmagic的扩展模块，提供一些更方便的编写爬虫的工具。包括注解格式定义爬虫、JSON、分布式等支持。

webmagic还包含两个可用的扩展包，因为这两个包都依赖了比较重量级的工具，所以从主要包中抽离出来，这些包需要下载源码后自己编译：

• webmagic-saxon
  webmagic与Saxon结合的模块。Saxon是一个XPath、XSLT的解析工具，webmagic依赖Saxon来进行XPath2.0语法解析支持。
• webmagic-selenium
  webmagic与Selenium结合的模块。Selenium是一个模拟浏览器进行页面渲染的工具，webmagic依赖Selenium进行动态页面的抓取。

在项目中，你可以根据需要依赖不同的包。

不使用maven

在项目的lib目录下，有依赖的所有jar包，直接在IDE里import即可。

 

 

 

https://www.jianshu.com/p/3b0b1b30aa0b

https://my.oschina.net/flashsword/blog/145796

https://www.cnblogs.com/Jason-Xiang/p/10021241.html