06 2018 档案

摘要：1.发现问题： 在hive客户端或者beeline查询hive表时候报错： 根据报错信息查看，是在集群namenode做了HA之后，产生的hdfs路径不对的问题； 2.解决问题，修改hive元数据mysql信息表DBS和SDS: 更改语句： mysql> update sds set LOCATIO 阅读全文

摘要：原博客地址：http://blog.csdn.net/evankaka 摘要：本文主要讲了笔者在使用sqoop过程中的一些实例 一、概述与基本原理 Apache Sqoop（SQL-to-Hadoop） 项目旨在协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。用户可以在 Sqoop 的 阅读全文

摘要：正常情况下，hmaster会定期清理oldWALs文件夹，一般该文件大小也就几百兆，但是我们线上 环境出现了该文件没有自动回收情况，如图： 该目录占用hdfs空间多达7.6T，浪费空间： 后来经过多番查找，找到了问题所在，之前开启hbase复制之peers，参考博文连接如下： https://sta 阅读全文