摘要：
Java 的序列化能够序列化任何的类。但是比较重（字节多），序列化后，对象的提交也比较大。Spark 出于性能的考虑，Spark2.0 开始支持另外一种 Kryo 序列化机制。Kryo 速度是 Serializable 的 10 倍。当 RDD 在 Shuffle 数据的时候，简单数据类型、数组和字 阅读全文
posted @ 2022-01-20 12:35
Zhbeii
阅读(381)
评论(0)
推荐(0)
摘要：
Spark的transformation算子（不少于8个）（重点） 单Value （1）map：将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换 （2）mapPartitions：将待处理的数据以分区为单位发送到计算节点进行处理，这里的处理是指可以进行任意的处理，哪怕是过滤 阅读全文
posted @ 2022-01-20 12:05
Zhbeii
阅读(302)
评论(0)
推荐(0)
摘要：
 阅读全文
posted @ 2022-01-20 11:39
Zhbeii
阅读(45)
评论(0)
推荐(0)
摘要：
第一次启动 非第一次启动 阅读全文
posted @ 2022-01-20 10:52
Zhbeii
阅读(22)
评论(0)
推荐(0)
浙公网安备 33010602011771号