十七楼的羊

摘要： <configuration> <!--其他用户使用hdfs 操作文件，是否进行验证！--> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.replicati 阅读全文

摘要： 阅读全文

摘要： zookper 运行机制(以 Hadoop HA 为例): 1),zookeeper 使用目录树维护集群信息, 首先在目录树上创建成功节点的namenode为active 2),zeekeeper 主节点为每个从节点准备一个 message quene,通过 message quene 来实现事件的触发 3), Hadoop HA 是由 ZKFC 进程与 zookeeper 进行通信的... 阅读全文

摘要： 存储内存管理:RDD的持久化 1,如果持久化的级别是纯磁盘级别，直接调用BlockManager的toPut方法写入磁盘 2,持久化的级别是内存级别,此时尝试使用 UnRoll方法,尝试将数据安全的保存的内存之中,如果内存不够，就会淘汰，再将数据写入内存之中 1),淘汰: 新的block缓存到内存不足时，淘汰掉旧的block 2),落盘:如果设定存储到磁盘,... 阅读全文

摘要： 变量传参: 1,在 spark 编写的程序之中是没有全局变量的,是因为在 driver设置的全局变量，在 execute 可以使用,但是不会返回给driver,除非使用累加器 2,累加器只能在 driver端进行使用，因为它是来自于 sc(只存在于 driver) package day01 import org.apache.spark.{Accumulator, SparkConf, S... 阅读全文