摘要：
15/06/19 17:12:44 ERROR namenode.FSNamesystem: FSNamesystem initialization failed.java.io.IOException: Invalid configuration: a shared edits dir must ... 阅读全文
posted @ 2015-07-08 22:35 LuckyBill 阅读(759) 评论(0) 推荐(0)
2015年7月8日
摘要：
Spark的Cluster Manager可以有Local、Standalone、Mesos、YARN等部署模式.常用分布式通信方式： 1. RPC(Remote Produce Call) RPC远程过程调用协议，基于C/S模型调用。过程大致可以理解为本地分布式对象向本机发送请求，不用自己... 阅读全文
posted @ 2015-07-08 22:29 LuckyBill 阅读(176) 评论(0) 推荐(0)
摘要：
首先打开远程调试： 1.在spark/conf/spark-env.xml里面加入下列代码允许master远程调试 export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,addre... 阅读全文
posted @ 2015-07-08 22:15 LuckyBill 阅读(148) 评论(0) 推荐(0)
摘要：
Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPUintensive的计算。DRPC的stormtopology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。DRPC其实不能算是storm本身的一个特性，它是通过组合storm的原语spout，... 阅读全文
posted @ 2015-07-08 22:10 LuckyBill 阅读(202) 评论(0) 推荐(0)
浙公网安备 33010602011771号