2020年10月28日

SparkSession
摘要： （1）SparkContext SparkContext是Spark中Driver程序的一部分，向资源管理器cluster manager（可以是mesos、yarn、standalone）申请spark应用所需的资源executor，资源管理器在各个worker上分配一定的executor。 当我 阅读全文
posted @ 2020-10-28 18:49 happygril3 阅读(260) 评论(0) 推荐(0)
aggregateMessages
摘要： def aggregateMessages[Msg: ClassTag]( sendMsg: EdgeContext[VD, ED, Msg] => Unit, mergeMsg: (Msg, Msg) => Msg, tripletFields: TripletFields = TripletFi 阅读全文
posted @ 2020-10-28 16:19 happygril3 阅读(194) 评论(0) 推荐(0)
建图
摘要： 方式一 package graphx import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.graphx._ import o 阅读全文
posted @ 2020-10-28 15:28 happygril3 阅读(67) 评论(0) 推荐(0)

导航