soft.push("zzq")

1·类型加载主动初始化和被动初始化两种，通过访问静态变量或者给静态变量赋值都是可以使类初始化，如果有继承关系，所依赖的父类都会被动初始化。 2·如果在类的静态变量中添加final关键字，那这个变量就会被放入当前类的常量池中，删除类源文件以及class字节码都不会影响常量池中的内容，这个是在“编译阶段 Read More

#1.删除hdp.repo和hdp-util.repo cd /etc/yum.repos.d/ rm -rf hdp* rm -rf HDP* #rm -rf ambari* #2.删除安装包 #用yum list installed | grep HDP来检查安装的ambari的包 yum remove -y sqoop.noarch yum remove -y lzo-devel.... Read More

大家好！转眼又到了经验分享的时间了。吼吼，我这里没有摘要也没有引言，只有单纯的经验分享，请见谅哦！ 言归正传，目前在大数据领域能够提供的核心计算的工具，如离线计算hadoop生态圈的mr计算模型，以及依赖mr的hive；在spark生态圈中包含spark core和spark sql。实时计算领域中 Read More

***这里的executor在worker上分配策略以spreadOut 为例*** 1.3版本关键点： 以上红色代码清晰的展示了在平均分配的场景下，每次会给worker分配1个core，所以说在spark-submit中如果设置了 --executor-cores属性未必起作用； 但在2.x版本的 Read More

SparkConf conf = new SparkConf() conf.set("spark.default.parallelism", "500") Read More

//获取出每天前3的搜索词 ArrayList log = new ArrayList(); log.add("2015-10-01,leo,a1,beijing,android"); log.add("2015-10-01,leo,a1,beijing,android"); log.add("2015-10-01,tom,a1,b... Read More

1 UDF对每个值进行处理； 2 UDAF对分组后的每个值处理（必须分组） UDAF实体： Read More

SparkConf sparkConf = new SparkConf(); sparkConf .setAppName("Internal_Func") .setMaster("local"); JavaSparkContext javaSparkContext = new JavaSparkCo... Read More

SparkConf sparkConf = new SparkConf() .setMaster("local") .setAppName("MySqlTest"); JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf); ... Read More

List basicList = new ArrayList(); basicList.add("{\"name\": \"zzq\",\"age\": 15}"); basicList.add("{\"name\": \"zzq1\",\"age\": 25}"); basicList.add("{\"name\": \"zzq2\",\"a... Read More