2018年3月20日
springboot+webmagic实现java爬虫jdbc及mysql
摘要： 前段时间需要爬取网页上的信息，自己对于爬虫没有任何了解，就了解了一下webmagic，写了个简单的爬虫。 一、首先介绍一下webmagic： webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义U 阅读全文
posted @ 2018-03-20 11:42 *眉间缘* 阅读(3374) 评论(0) 推荐(0) 编辑