摘要：
数据倾斜：由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点。map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的re 阅读全文
摘要：
负载信息：RegionServer:3个 Region:5400多个 现象：在使用Spark对HBase进行scan操作时发现有些task执行比较慢 原因分析：查看Spark应用的executor日志，发现查询慢的都是027节点请求的。 获取此节点的regionServer日志，发现scan的时候有 阅读全文
摘要：
原因分析： 导入数据——>HBase，在客户端会发生非常多的rpc请求到regionServer，从而加大regionServer上的压力，如果regionServer比较忙碌（handle被占满），可能会抛异常。 解决： 1.调整客户端的rpc超时时间； 2.增加regionServer的hadl 阅读全文
摘要：
现象： 1.在HBase Shell里执行建表操作会等很久，最终失败； 2.通过代码侧进行建表同样不能成功。 原因排查： 1.查询HMaster日志，发现有接收到建表（create）的RPC请求； 在zookeeper的/hbase/table和/hbase/table-lock路径下也都能看到此t 阅读全文
摘要：
一.run()方法和start()方法的区别 在java中可有两种方式实现多线程，一种是继承Thread类，一种是实现Runnable接口；Thread类是在java.lang包中定义的。一个类只要继承了Thread类同时覆写了本类中的run()方法就可以实现多线程操作了，但是一个类只能继承一个父类 阅读全文
摘要：
清理ambari安装的hadoop集群 本文针对redhat或者centos 对于测试集群，如果通过ambari安装hadoop集群后，想重新再来一次的话，需要清理集群。 对于安装了很多hadoop组件的话，这个工作很繁琐。接下来是我整理的清理过程。 1，通过ambari将集群中的所用组件都关闭，如 阅读全文
摘要：
Ambari server 搭建过程中到了revicw环境遇到点击deploy：发现页面没有响应 Console显示server 返回500 error错误，页面中没有提示更多的报错信息。 经过日志查看，发现日志中报了如下错误： 12 Mar 2018 21:25:41,903 ERROR [ale 阅读全文
摘要：
配置Ambari远程maridb 报错： ERROR 1044 (42000): Access denied for user ''@'localhost' to database 'ambari' 在环境搭建的过程中，在 #用Ambari用户（上面设置的用户）登录mysql ，(没有密码) mys 阅读全文
摘要：
解决方案： 问题描述： 使用CDH 5.2版本安装时，agent节点有12个。按照安装说明，在各个节点启动cm-agent之后，发现只有6个节点能被纳管。其它的节点总是无法加入纳管中。 在确认防火墙已经关闭后，仍然无法解决问题 问题分析： 1. 查看已经加入纳管的节点，发现这6个节点并不是固定的，有 阅读全文
摘要：
1> 删除Agent节点的UUID # rm -rf /opt/cm-5.12.0/lib/cloudera-scm-agent/* 2> 清空主节点CM数据库 进入主节点的Mysql数据库，然后drop database cm; 3> 删除Agent节点namenode和datanode节点信息 阅读全文