摘要：运行结果如下 D:\python\Python3\python.exe D:/project/python/zj_scrapy/zj_scrapy/SyncCrawlSjqq.py ['宜人贷借款', '大智慧', '中国建设银行', '同花顺手机炒股股票软件', '随手记理财记账', '平安金管家 阅读全文

摘要：关于爬虫平台的架构设计实现和框架的选型(一) 关于爬虫平台的架构设计实现和框架的选型(二)--scrapy的内部实现以及实时爬虫的实现 首先来看一下一个爬虫平台的设计，作为一个爬虫平台，需要支撑多种不同的爬虫方式，所以一般爬虫平台需要包括 1、 爬虫规则的维护，平台在接收到爬虫请求时，需要能按照匹配 阅读全文

摘要：Region的概念 Region是HBase数据管理的基本单位。数据的move,数据的balance，数据的split，都是按照region来进行操作的。 region中存储这用户的真实数据，而为了管理这些数据，HBase使用了RegionSever来管理region。 一个表中可以包含一个或多个R 阅读全文

摘要：Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流 阅读全文