2022年7月20日
spark streaming 小案例
摘要： spark streaming ==实时计算的案例== 数据 {"car":"皖A9A7N2","city_code":"340500","county_code":"340522","card":117988031603010,"camera_id":"00001","orientation":" 阅读全文
posted @ 2022-07-20 10:18 a-tao必须奥利给 阅读(93) 评论(0) 推荐(0)
spark streaming-DS,DF,RDD相互转换，submit，数据落盘
摘要： spark streaming DS转成DF写代码 package com.shujia.spark.streaming import org.apache.spark.SparkContext import org.apache.spark.rdd.RDD import org.apache.sp 阅读全文
posted @ 2022-07-20 09:52 a-tao必须奥利给 阅读(293) 评论(0) 推荐(0)
spark streaming-wordcount,累加统计，滑动和滚动窗口
摘要： spark streaming WordCount案例 创建spark Streaming 环境，需要依赖Spark core 环境 创建spark streaming 环境，需要设置执行执行的间隔时间 * 1、读取实时的数据源 * 安装 * yum install nc * 启动socket服务 阅读全文
posted @ 2022-07-20 09:42 a-tao必须奥利给 阅读(202) 评论(0) 推荐(0)