xuejianbest

摘要：数据标准化先定义一个dfimport org.apache.spark.ml.linalg.Vectorsval df = spark.createDataFrame(Seq( (0, Vectors.dense(1.0, 0.5, -1.0)), (1... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(1252) 评论(0) 推荐(0)

摘要：使用spark-submit往yarn集群提交任务，deploy-mode可以采用client和cluster两种模式。若想使用hive功能，需要满足以下条件：初始化sparkSession对象的时候，指定enableHiveSupport选项；指定hive... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(2785) 评论(0) 推荐(0)

摘要：我们知道，scala中Int类型不能为null，而Dataset中表示的Int值的IntegerType类型列却能为null。如果我们想产生一个IntegerType类型列为null的DataFrame该怎么做？下面的代码可以做到：import org.ap... 阅读全文

posted @ 2019-01-04 17:25 xuejianbest 阅读(2154) 评论(0) 推荐(0)

摘要：代码：val file = "/root/dir/jhzf.properties"val tableName = "spark_timetime"import java.util.Propertiesval properties = new Properti... 阅读全文

posted @ 2019-01-04 17:24 xuejianbest 阅读(2111) 评论(0) 推荐(0)

摘要：两个概念：分区partition分区器partitionerpartitionRDD有个partitions方法：final def partitions: Array[Partition]，能够返回一个数组，数组元素是RDD的partition。parti... 阅读全文

posted @ 2019-01-04 17:24 xuejianbest 阅读(4062) 评论(0) 推荐(1)

摘要： spark-shell或spark-submit，载入jdbc的jar包：--jars /mysql-connector-java-*-bin.jarspark使用jdbc读写数据库：//读数据库import java.util.Propertiesval ... 阅读全文

posted @ 2019-01-04 17:24 xuejianbest 阅读(770) 评论(0) 推荐(0)

摘要： spark-shell运行，若要载入hbase的jar包：export SPARK_CLASSPATH=/opt/hbase-1.2.4/lib/*获取hbase中列簇中的列值：import org.apache.spark._import org.apac... 阅读全文

posted @ 2019-01-04 17:24 xuejianbest 阅读(864) 评论(0) 推荐(0)

摘要：使用：$spark-submit --helpUsage: spark-submit [options] [app arguments]举例：spark-submit --master yarn-cluster \--class Tkmeans \--co... 阅读全文

posted @ 2019-01-04 17:24 xuejianbest 阅读(1077) 评论(0) 推荐(0)

摘要：本文基于spark-1.6.2-bin-hadoop2.6提交到本地程序中指定的参数（param）和spark-submit提交时参数配置一致：import org.apache.spark.deploy.SparkSubmit;public class D... 阅读全文

posted @ 2019-01-04 17:24 xuejianbest 阅读(3913) 评论(0) 推荐(0)

摘要： spark可以不进行任何配置，直接运行，这时候spark像一个java程序一样，是直接运行在VM中的。spark还支持提交任务到YARN管理的集群，称为spark on yarn模式。spark还支持Mesos管理的集群，Mesos和YARN一样都是管理集群... 阅读全文

posted @ 2019-01-04 17:24 xuejianbest 阅读(1310) 评论(0) 推荐(0)