2018年12月26日
spark读文件写mysql(java版)
package org.langtong.sparkdemo; import com.fasterxml.jackson.databind.ObjectMapper; import org.apache.spark.SparkConf; import org.apache.spark.SparkCo Read More
posted @ 2018-12-26 17:27 kwz Views(1089) Comments(0) Diggs(0)
spark的广播变量
直接上代码:包含了,map,filter,persist,mapPartitions等函数 String master = "spark://192.168.2.279:7077"; // jsc = getContext("local[2]"); jsc = getContext(master); Read More
posted @ 2018-12-26 17:12 kwz Views(797) Comments(0) Diggs(0)
hive,把一个表中计算好的数据,存到另一个外部表中
直接上代码: 第一部分: case class OrdPacsresult_obj(pk_dcpv: String, result_obj: String) 第二部分: def ordsubj: Unit = { import sparkSession.implicits._ import spar Read More
posted @ 2018-12-26 17:06 kwz Views(1694) Comments(0) Diggs(0)
spark操作hive方式(scala)
第一种方式: def operatorHive: Unit = { Class.forName("org.apache.hive.jdbc.HiveDriver") val url = "jdbc:hive2://192.168.2.xxx:10000" val connection: Connec Read More
posted @ 2018-12-26 17:00 kwz Views(4864) Comments(1) Diggs(0)