随笔分类 -  cdh

摘要：背景: CDH集群的HDFS HA已配置完毕，Hive也相应进行了Update Hive Metastore NameNode，Hive的业务sql脚本都正常运行。 在使用spark-sql 写入hive时报错： Caused by: java.lang.IllegalArgumentExcepti 阅读全文

摘要：背景： 因业务要求进行了一次业务数据的全量采集，采集过程中集群namenode与journalNode通讯超时导致namenode挂掉。如下图 Error: starting log segment 11771414 failed for required journal (JournalAndSt 阅读全文

摘要：在cdh执行任务时，发现资源严重不足，但同时又没跑着其他大型任务 先通过top命令 ，再按M查看 发现这种进程（cdh的监控采集进程）占据了大量资源，再查看其的父pid发现是系统1号进程，所以判断可能是异常宕机等导致了这些进程未关闭由系统1号进程接管，但已经无法正常工作，也未正常关闭，占用着大量资源 阅读全文