随笔分类 -  spark 源码

6.7 块管理器BlockManager
摘要：/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding co... 阅读全文
posted @ 2018-06-22 16:07 山清水秀ysu 阅读(1757) 评论(0) 推荐(0)
6 spark 存储体系
摘要：6.1 block存储体系 存储体系架构图 6.2 block 信息信息管理器 6.2.2 bock锁的实现 6.3 磁盘block管理 阅读全文
posted @ 2018-06-22 13:52 山清水秀ysu 阅读(467) 评论(0) 推荐(0)
5.5 广播对象写、读操作
摘要： 阅读全文
posted @ 2018-05-22 16:00 山清水秀ysu 阅读(109) 评论(0) 推荐(0)
5.3.1 RPC端点RpcEndpoint
摘要：ThreadSafeRpcEndpoint对消息的处理都是串行的，即前一条消息处理完才能接着处理下一条消息。ThreadSafeRpcEndpoint的继承体系如图5-3所示。 5.3.2 RPC端点引用RpcEndpointRef 3.Inbox的消息来源 MessageLoop线程的执行逻辑是不 阅读全文
posted @ 2018-05-21 18:53 山清水秀ysu 阅读(558) 评论(0) 推荐(0)
3.2 Spark内置RPC框架
摘要：实现的HttpFileServer，但在Spark 2.0.0版本中它也被废弃了，现在使用的是基于Spark内置RPC框架的NettyStreamManager。节点间的Shuffle过程和Block数的复制与备份这两个部分在Spark 2.0.0版本中依然沿用了Netty，通过对接口和程序进行重新 阅读全文
posted @ 2018-05-18 15:45 山清水秀ysu 阅读(323) 评论(0) 推荐(0)