摘要：由于暴力关机，Hadoop fs -ls 出现了下图问题： 问题出现的原因是下面红框框里面的东西，我当时以为从另一个节点下载一个conf.cloudera.yarn文件就能解决问题，发现不行啊，于是删掉。 从另一个节点scp过来这个文件。 解决办法： 问题解决了。如下图： 阅读全文

摘要：一、了解hbase的存储体系。 hbase的存储体系核心的有Split机制，Flush机制和Compact机制。 1、split机制 每一个hbase的table表在刚刚开始的时候，只有一个region，随着数据的不断插入到表中，region开始增大，当增大到一定的阀值以后，region就会等分两个 阅读全文

摘要： 阅读全文

摘要：在执行hbase sqoop抽取的时候，遇到了一个错误，如下图： 在执行程序的过程中，遇到权限问题很正常，也容易让人防不胜防，有问题就想办法解决，这个是关键。 解决办法如下： 第一步：su hdfs，进入hdfs。 第二步：hadoop fs -ls ，瞅瞅user的权限。 第三步：修改权限 had 阅读全文

摘要：用过以后，总得写个总结，不然，就忘喽。 一、寻找操作的jar包。 java操作hbase，首先要考虑到使用hbase的jar包。 因为咱装的是CDH5，比较方便，使用SecureCRT工具，远程连接到你安装的那台服务器上。 jar包的存放位置在/opt/cloudera/parcels/CDH/li 阅读全文

摘要：一、Java读取文件 案例1：读取D盘的1.txt文件 编码： 结果： 二、写入文件 案例：讲D盘中的1.txt文件内容写入D盘一个2.txt文件。 编码： 阅读全文