随笔分类 -  大数据编码日记

Flink写入Redis集群 重写flink-connector-redis包，解决Cluster无法输入密码问题
摘要：使用flink的时候难免和redis打交道，相信大家都使用过flink-connector-redis来处理，但是当我想要使用RedisSink写入集群时，发现居然不支持使用密码，于是有了这篇笔记。 阅读全文

posted @ 2022-07-28 22:14 追随的风 阅读(3211) 评论(0) 推荐(0)

SparkRDD所有算子操作，建议全部手敲一遍
摘要：说明： 1、以下方法全部来自这个RDD.scala，可以自己看源码 2、使用$SPARK_HOME/bin/spark-shell运行代码 3、注释部分是运行结果 //org.apache.spark.rdd//RDD.scala // Transformations (return a new R 阅读全文

posted @ 2022-06-08 08:26 追随的风 阅读(50) 评论(0) 推荐(0)