纯捡垃圾吃的

摘要： 1.不同版本间集群是否可以迁移？2.distcp命令的作用是什么？3..MEAT表的作用是什么？4.相互不通信集群，数据该如何迁移？HBase迁移数据方案一（集群互联）花了一天的时间查资料做测试，略微的总结了一下hbase数据迁移的方法。一、需要在hbase集群停掉的情况下迁移步骤：(1)执行Had 阅读全文

摘要： 最近为了方便开发，在自己的虚拟机上搭建了三节点的Hadoop集群与Hbase集群，hadoop集群的搭建与zookeeper集群这里就不再详细说明，原来的笔记中记录过。这里将hbase配置参数进行相应整理，方便日后使用。 首先vi ~/.bash_profile将hbase的环境变量进行配置，最后s 阅读全文

摘要： hadoop在用户权限上做的只是像linux用户级别的安全认证，即对文件的访问权限。对于一些数据安全比较重视的公司是不够的，如果对数据安全有要求，而且是认证方式的，可以使用kerberos，但是并不是很好用，当初阿里巴巴在安全上使用kerberos，后来嫌弃太麻烦就抛弃了，自己开发了一套安全认证系统 阅读全文

摘要： 1.需要的jar如下: !-- log4j --> <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency> <dependency> <g 阅读全文

摘要： val cityUserNoAppTypeDStream = CitySummaryBolt.noAppType(cleanBoltData) .map(x => (x, 0)).reduceByKey(_ + _).map(x => x._1).map(x => (x._1, 1l)).reduc 阅读全文