摘要：
源码学习 Spark源码注释中有下面一句话: Asynchronously passes SparkListenerEvents to registered SparkListeners 即所有spark消息SparkListenerEvents 被异步的发送给已经注册过的SparkListener 阅读全文
posted @ 2017-06-28 22:20
XGogo
阅读(498)
评论(0)
推荐(0)
摘要：
前面博客里面提到，运行一次Hadoop的时候出现Java heap error。字面意思分配堆的时候出现错误，我们知道应用程序的动态内存的分配均在堆里面。这里提示堆错误，那必然是内存不够用了。那么这个namenode内存的大小该怎么取值呢？ namenode管理着集群里面所有文件的信息。简单根据文件 阅读全文
posted @ 2017-06-28 16:30
XGogo
阅读(8327)
评论(0)
推荐(0)
摘要：
Java内存组成介绍：堆(Heap)和非堆(Non-heap)内存 按照官方的说法：“Java 虚拟机具有一个堆，堆是运行时数据区域，所有类实例和数组的内存均从此处分配。堆是在 Java 虚拟机启动时创建的。”“在JVM中堆之外的内存称为非堆内存(Non-heap memory)”。可以看出JVM主 阅读全文
posted @ 2017-06-28 16:28
XGogo
阅读(436)
评论(0)
推荐(0)
摘要：
最近需要将HDFS集群进行缩减，datanode由8台减到3台。google了一下，觉decommission方式最稳妥，于是使用该方法进行操作。 前提条件： namenode的hdfs-site.xml 里有如下配置项 [html] view plain copy <property> <name 阅读全文
posted @ 2017-06-28 11:09
XGogo
阅读(1282)
评论(0)
推荐(0)
摘要：
转自：http://blog.csdn.net/tutucute0000/article/details/39756123 从nameNode1、namenode2克隆出namenode3、namenode4，分别作为1、2的standby node。 把datanode2、3、4作为namenod 阅读全文
posted @ 2017-06-28 11:05
XGogo
阅读(992)
评论(0)
推荐(0)
浙公网安备 33010602011771号