05 2018 档案

linux 相关命令
摘要：Linux 不同用户环境变量 修改所有用户的环境变量：/etc/profile文件 只修改root用户的环境变量：~/.bashrc文件 只修改某个非root用户的环境变量：/home/非root用户名/.bashrc文件 修改所有用户的环境变量：/etc/profile文件 只修改root用户的环 阅读全文
posted @ 2018-05-31 09:51 山清水秀ysu 阅读(161) 评论(0) 推荐(0)
5.5 广播对象写、读操作
摘要： 阅读全文
posted @ 2018-05-22 16:00 山清水秀ysu 阅读(109) 评论(0) 推荐(0)
5.3.1 RPC端点RpcEndpoint
摘要：ThreadSafeRpcEndpoint对消息的处理都是串行的，即前一条消息处理完才能接着处理下一条消息。ThreadSafeRpcEndpoint的继承体系如图5-3所示。 5.3.2 RPC端点引用RpcEndpointRef 3.Inbox的消息来源 MessageLoop线程的执行逻辑是不 阅读全文
posted @ 2018-05-21 18:53 山清水秀ysu 阅读(562) 评论(0) 推荐(0)
4.12 Spark环境更新
摘要：addJar方法是做什么的呢？它用于将Jar文件添加到Driver的RPC环境中。 通过addJar和addFile可以将各种任务执行所依赖的文件添加到Driver的RPC环境中， •小结 伴生对象是Scala语言的语法特性。Scala中的伴生对象可以提供类似于Java中的静态方法、静态属性等的定义 阅读全文
posted @ 2018-05-18 19:08 山清水秀ysu 阅读(162) 评论(0) 推荐(0)
3.2 Spark内置RPC框架
摘要：实现的HttpFileServer，但在Spark 2.0.0版本中它也被废弃了，现在使用的是基于Spark内置RPC框架的NettyStreamManager。节点间的Shuffle过程和Block数的复制与备份这两个部分在Spark 2.0.0版本中依然沿用了Netty，通过对接口和程序进行重新 阅读全文
posted @ 2018-05-18 15:45 山清水秀ysu 阅读(323) 评论(0) 推荐(0)