公告

随笔分类 - spark

Spark 通讯模块以及常用分布式通讯方式分类： spark 2015-07-08 22:29 23人阅读评论(0) 收藏

摘要：Spark的Cluster Manager可以有Local、Standalone、Mesos、YARN等部署模式.常用分布式通信方式： 1. RPC(Remote Produce Call) RPC远程过程调用协议，基于C/S模型调用。过程大致可以理解为本地分布式对象向本机发送请求，不用自己... 阅读全文

posted @ 2015-07-08 22:29 LuckyBill 阅读(176) 评论(0) 推荐(0) |

spark 1.3.1 master 源码初探01 分类： spark 2015-07-08 22:15 386人阅读评论(0) 收藏

摘要：首先打开远程调试： 1.在spark/conf/spark-env.xml里面加入下列代码允许master远程调试 export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,addre... 阅读全文

posted @ 2015-07-08 22:15 LuckyBill 阅读(148) 评论(0) 推荐(0) |

LuckyBill

公告

随笔分类 - spark

Spark 通讯模块 以及常用分布式通讯方式 分类： spark 2015-07-08 22:29 23人阅读 评论(0) 收藏

spark 1.3.1 master 源码初探01 分类： spark 2015-07-08 22:15 386人阅读 评论(0) 收藏

Spark 通讯模块以及常用分布式通讯方式分类： spark 2015-07-08 22:29 23人阅读评论(0) 收藏

spark 1.3.1 master 源码初探01 分类： spark 2015-07-08 22:15 386人阅读评论(0) 收藏