7749ha - 博客园

2020年12月14日

flink 使用processFunction函数的sideOutPut实现filter操作(java版)

摘要： import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastr 阅读全文

posted @ 2020-12-14 19:57 7749ha 阅读(470) 评论(0) 推荐(0) 编辑

2020年12月11日

flink 状态编程之RichFlatMapFunction用法-java

摘要：需求：连续两个相同key的数量相差超过10就报警. import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.functions.RichFlatMapFunction; 阅读全文

posted @ 2020-12-11 16:46 7749ha 阅读(4086) 评论(0) 推荐(0) 编辑

2020年5月22日

java flink之eventTime和window

摘要： import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.functions.ReduceFunction; import org.apache.flink.api.jav 阅读全文

posted @ 2020-05-22 09:36 7749ha 阅读(402) 评论(0) 推荐(0) 编辑

2020年5月18日

java spark sql 计算各个省份广告点击数的top3

摘要：同这个需求一样，用spark sql的方式实现（相对来说简单一点） https://www.cnblogs.com/7749ha/p/12909115.html package sparksql; import org.apache.spark.SparkContext; import org.ap 阅读全文

posted @ 2020-05-18 14:33 7749ha 阅读(323) 评论(0) 推荐(0) 编辑

java spark 计算各个省份广告点击数的top3

摘要：数据格式：时间戳省份城市用户广告 1589677806 河南洛阳 user1 ad11589677807 河南郑州 user1 ad11589677808 河南洛阳 user2 ad11589677809 河南洛阳 user3 ad21589677811 河南郑州 user1 a 阅读全文

posted @ 2020-05-18 10:29 7749ha 阅读(530) 评论(0) 推荐(0) 编辑

2020年5月15日

java streaming转换算子window,countByWindow

摘要： spark streaming 代码 package streaming; import org.apache.spark.SparkConf; import org.apache.spark.api.java.function.Function2; import org.apache.spark. 阅读全文

posted @ 2020-05-15 10:41 7749ha 阅读(294) 评论(0) 推荐(0) 编辑

2020年5月14日

java spark转换算子sortByKey

摘要： /** * # _*_ coding:utf-8 _*_ * # Author:xiaoshubiao * # Time : 2020/5/14 8:33 **/ import org.apache.spark.SparkConf; import org.apache.spark.api.java. 阅读全文

posted @ 2020-05-14 14:13 7749ha 阅读(326) 评论(0) 推荐(0) 编辑

java spark转换算子join、leftOuterJoin、rightOuterJoin、fullOuterjoin

摘要： /** * # _*_ coding:utf-8 _*_ * # Author:xiaoshubiao * # Time : 2020/5/14 8:33 **/ import org.apache.spark.SparkConf; import org.apache.spark.api.java. 阅读全文

posted @ 2020-05-14 14:06 7749ha 阅读(636) 评论(0) 推荐(0) 编辑

java spark转换算子groupByKey、reduceByKey、aggregateByKey

摘要： /** * # _*_ coding:utf-8 _*_ * # Author:xiaoshubiao * # Time : 2020/5/14 8:33 **/ import org.apache.spark.SparkConf; import org.apache.spark.api.java. 阅读全文

posted @ 2020-05-14 13:51 7749ha 阅读(480) 评论(0) 推荐(0) 编辑

java spark转换算子union、intersection、subtract

摘要： /** * # _*_ coding:utf-8 _*_ * # Author:xiaoshubiao * # Time : 2020/5/14 8:33 **/ import org.apache.spark.SparkConf; import org.apache.spark.api.java. 阅读全文

posted @ 2020-05-14 08:57 7749ha 阅读(230) 评论(0) 推荐(0) 编辑