摘要：
package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{Partitioner, SparkConf, SparkContext} object Demo13Patition { d 阅读全文
posted @ 2021-07-18 11:12
坤坤无敌
阅读(348)
评论(0)
推荐(0)
摘要：
1、Flume组成，Put事务，Take事务 1）taildir source （1）断点续传、多目录 （2）哪个flume版本产生的？Apache1.7、CDH1.6 （3）没有断点续传功能时怎么做的？ 自定义 （4）taildir挂了怎么办？ 不会丢数：断点续传 重复数据： （5）怎么处理重复数 阅读全文
posted @ 2021-07-16 22:51
坤坤无敌
阅读(88)
评论(0)
推荐(0)
摘要：
1、Zookeeper简介 Zookeeper是一个高效的分布式协调服务，可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。它不适合用来存储大量信息，可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC服务框架、分布式数据库同步系统，这些都是Zo 阅读全文
posted @ 2021-07-16 22:43
坤坤无敌
阅读(53)
评论(0)
推荐(0)
摘要：
package com.shujia.spark.core import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FileSystem, Path} import org.apache.spark.rdd.R 阅读全文
posted @ 2021-07-16 22:17
坤坤无敌
阅读(71)
评论(0)
推荐(0)
摘要：
package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo10Sort { def main(args: Arr 阅读全文
posted @ 2021-07-16 22:16
坤坤无敌
阅读(331)
评论(0)
推荐(0)
摘要：
Union package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo8Union { def main(arg 阅读全文
posted @ 2021-07-16 22:15
坤坤无敌
阅读(157)
评论(0)
推荐(0)
摘要：
package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo6GroupByKey { def main(args 阅读全文
posted @ 2021-07-16 22:13
坤坤无敌
阅读(61)
评论(0)
推荐(0)
摘要：
package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo5Sample { def main(args: Ar 阅读全文
posted @ 2021-07-16 22:12
坤坤无敌
阅读(87)
评论(0)
推荐(0)
摘要：
map package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo2Map { def main(args: A 阅读全文
posted @ 2021-07-16 22:09
坤坤无敌
阅读(104)
评论(0)
推荐(0)
摘要：
spark实现Wordcount package com.shujia.spark.core import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo1WordCount 阅读全文
posted @ 2021-07-16 22:03
坤坤无敌
阅读(59)
评论(0)
推荐(0)
浙公网安备 33010602011771号