2019年7月15日
spark 源码分析之十三 -- SerializerManager剖析
摘要： 对SerializerManager的说明： 它是为各种Spark组件配置序列化，压缩和加密的组件，包括自动选择用于shuffle的Serializer。spark中的数据在network IO 或 local disk IO传输过程中。都需要序列化。其默认的 Serializer 是 org.ap 阅读全文
posted @ 2019-07-15 20:03 JohnnyBai 阅读(1058) 评论(3) 推荐(3) 编辑