摘要：
从socketTextStream说起查看socketTextStream源码 def socketTextStream( hostname: String, port: Int, storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_S 阅读全文
posted @ 2020-03-05 17:37
盛夏群岛
阅读(721)
评论(0)
推荐(0)
摘要：
什么是sparksql 它是RDD与sql语句的结构体。RDD在底层提供了分布式的数据访问接口，而sql语句在上层提供了编写程序的方式。它兼具了RDD访问速度快、访问数据量大和sql语句易于开发的双重特点，专门用于访问结构化的数据。sql语句在底层转换成RDD，类似于hql语句在底层转换成mr程序， 阅读全文
posted @ 2020-03-05 15:57
盛夏群岛
阅读(244)
评论(0)
推荐(0)
摘要：
需求：使用netcat工具向9999端口不断的发送数据，通过SparkStreaming读取端口数据并统计不同单词出现的次数 前期准备 1）消除idea控制台过多的日志信息 1.到spark/conf目录下，将log4j.properties.template文件下载到本地，重命名为log4j.pr 阅读全文
posted @ 2020-03-05 15:07
盛夏群岛
阅读(264)
评论(0)
推荐(0)
摘要：
class ApplyOperation { } class ApplyTest{ def apply() = println("I am into spark so much!!!")//定义的是普通对象的apply方法 def haveATry: Unit ={ println("have a 阅读全文
posted @ 2020-03-05 15:02
盛夏群岛
阅读(628)
评论(0)
推荐(0)
摘要：
常用语法规则 ^ 匹配输入字符串开始的位置。 $ 结尾 . 匹配除"\r\n"之外的任何单个字符。 [] 字符记 [^] 反向字符集 re* 前面的字符出现零次或多次，类似Java中的*； re+ 一次或多次，类似Java中的+； re? 零次或一次； re[n] n次 re[n,] 至少n次 re 阅读全文
posted @ 2020-03-05 12:33
盛夏群岛
阅读(503)
评论(0)
推荐(0)
浙公网安备 33010602011771号