摘要：
1、上传压缩包到任意节点 2、解压，配置环境变量 3、修改config/server.properties 1、broker.id=0，每一个节点broker.id 要不一样 2、zookeeper.connect=master:2181,node1:2181,node2:2181 3、log.di 阅读全文
posted @ 2021-07-24 21:12
坤坤无敌
阅读(135)
评论(0)
推荐(0)
摘要：
package com.shujia.spark.streaming import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.spark.streaming.kafka010.ConsumerStrategi 阅读全文
posted @ 2021-07-24 21:12
坤坤无敌
阅读(309)
评论(0)
推荐(0)
摘要：
1、kafka：高吞吐的分布式消息系统（消息队列） 2、消息队列应用场景 （1）系统之间解耦合 queue模型 publish-subscribe模型 （2）峰值压力缓冲 （3）异步通信 3、kafka架构 producer：消息生存者 consumer：消息消费者 broker：kafka集群的s 阅读全文
posted @ 2021-07-24 20:34
坤坤无敌
阅读(117)
评论(0)
推荐(0)
摘要：
cache checkpoint groupBykey和reduceByKey区别 BlockManager MapReduce过程 RDD的五大特性 RDD的依赖关系 shuffle过程 spark搭建 spark运行时 spark-client spark-cluster 资源调度和任务申请 阅读全文
posted @ 2021-07-21 19:53
坤坤无敌
阅读(48)
评论(0)
推荐(0)
摘要：
1、上传解压，配置环境变量 配置bin目录 2、修改配置文件 conf mv spark-env.sh.template spark-env.sh 增加配置 export SPARK_MASTER_IP=master export SPARK_MASTER_PORT=7077 export SPAR 阅读全文
posted @ 2021-07-21 19:27
坤坤无敌
阅读(115)
评论(0)
推荐(0)
摘要：
spark-sql 写代码方式 1、idea里面将代码编写好打包上传到集群中运行，上线使用 spark-submit提交 2、saprk shell (repl) 里面使用sqlContext 测试使用，简单任务使用 spark-shell --master yarn-client 不能使用yarn 阅读全文
posted @ 2021-07-21 17:04
坤坤无敌
阅读(130)
评论(0)
推荐(0)
摘要：
文字： 大数据计算分两步 1、资源调度 yarn-client 1、通过spark-submit提交任务 2、在本地启动Driver val sc = new SparkContext(conf) 3、Driver发请求给RM 启动AM 4、RM分配资源启动AM 5、AM向RM申请资源启动Excut 阅读全文
posted @ 2021-07-21 17:01
坤坤无敌
阅读(469)
评论(0)
推荐(0)
摘要：
package com.shujia.spark.sql import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object Demo6SparkOnHive { def main(args: Array[String]): 阅读全文
posted @ 2021-07-21 16:55
坤坤无敌
阅读(76)
评论(0)
推荐(0)
摘要：
package com.shujia.spark.sql import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object Demo5Submit { def main(args: Array[String]): Unit 阅读全文
posted @ 2021-07-21 16:53
坤坤无敌
阅读(712)
评论(0)
推荐(0)
摘要：
package com.shujia.spark.sql import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, Row, SparkSe 阅读全文
posted @ 2021-07-21 16:52
坤坤无敌
阅读(88)
评论(0)
推荐(0)
浙公网安备 33010602011771号