只会一点java

java持续学习者，每月一篇博客。罗列出技术栈，慢慢完善，持续学习，总有一天，你会追上甚至超越曾经的大神。
  博客园  :: 首页  :: 联系 :: 订阅 订阅  :: 管理

2016年10月9日

基于Redis的爬虫平台的实现

摘要： 一、需求： 1.数据抓取：目标数据的下载、解析、入库功能。 2.数据服务：黑名单、灰名单等查询服务。 3.平台监控：平台各个模块的数据实时监控。 二、WEB端效果展示： 三、架构设计 下载器、解析器、持久器、调度器都支持独立部署，可横向拓展部署多台服务。解耦。 下载器内部开启多线程下载； 解析器从待 阅读全文

posted @ 2016-10-09 10:45 只会一点java 阅读(1930) 评论(8) 推荐(2)