| | | |

2020年5月12日

摘要： 1 package com.bawei.foryk 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 7 object SparkCoreReview02 { 8 9 阅读全文

posted @ 2020-05-12 21:11 八旗格格的家阅读(265) 评论(0) 推荐(0)

SparkStreaming+ kafka-updateStateByKey-reduceByKeyAndWindow-countByKeyAndWindow-

摘要： 1 package com.bawei.foryk 2 3 import org.apache.kafka.clients.consumer.ConsumerRecord 4 import org.apache.kafka.common.serialization.StringDeserialize 阅读全文

posted @ 2020-05-12 20:36 八旗格格的家阅读(235) 评论(0) 推荐(0)

sparksql -自定义函数保存到mysql ---开窗函数（ row_number() over ）自定义函数（UDF）（输出到文件，输出到mysql）

摘要： 1 package com.bawei.foryk 2 3 import java.util.Properties 4 5 import org.apache.spark.rdd.RDD 6 import org.apache.spark.sql.{DataFrame, SparkSession} 阅读全文

posted @ 2020-05-12 20:15 八旗格格的家阅读(325) 评论(0) 推荐(0)

车辆监控系统出现的日志

摘要： 1 （二）题目描述： 2 题目一：Linux中运行一个object 打印 hello world 运行，展示效果。（5分） 3 题目二：题目一：以下是车辆监控系统出现的日志，其中格式如下 4 其中数据以此为日期,卡扣号,摄像头号车牌号拍照时间,车速,道路,区. 5 2019-11-19 0001 阅读全文

posted @ 2020-05-12 17:22 八旗格格的家阅读(913) 评论(0) 推荐(0)