摘要：1.设置参数 conf.setBoolean(CommonConfigurationKeys.IPC_CLIENT_FALLBACK_TO_SIMPLE_AUTH_ALLOWED_KEY, true); 这个参数会在连接kerberos失败时退回到simple认证。 2.提前加载krb5.conf文 阅读全文

摘要：原始代码为： org.apache.hadoop.security.UserGroupInformation.setConfiguration(conf) 出现错误： Can't get Kerberos realm 原因： 程序读取不到krb5.conf 解决办法： 在JVM启动参数中添加了参数 阅读全文

摘要：列出文件目录 hdfs dfs -ls /user/hive/warehouse 列出全部目录与文件 hdfs dfs -ls -R /user/hive/warehouse 查看目录文件大小 hdfs dfs -du -s -h /user/hive/warehouse 查看目录概况 hdfs d 阅读全文

摘要：一.问题背景 采用OGG进行数据实时同步时，发现同步的文件通过外部表不可读，cat一下某天的HDFS文件内容的时候报Cannot obtain block length for LocatedBlock异常 二.解决过程 1.既然是hdfs文件出问题,用fsck检查一下吧 hdfs fsck / 当 阅读全文