摘要：
Spark的Cluster Manager可以有Local、Standalone、Mesos、YARN等部署模式.常用分布式通信方式： 1. RPC(Remote Produce Call) RPC远程过程调用协议，基于C/S模型调用。过程大致可以理解为本地分布式对象向本机发送请求，不用自己... 阅读全文
posted @ 2015-07-08 22:29 LuckyBill 阅读(176) 评论(0) 推荐(0)
2015年7月8日
摘要：
首先打开远程调试： 1.在spark/conf/spark-env.xml里面加入下列代码允许master远程调试 export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,addre... 阅读全文
posted @ 2015-07-08 22:15 LuckyBill 阅读(148) 评论(0) 推荐(0)
摘要：
Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPUintensive的计算。DRPC的stormtopology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。DRPC其实不能算是storm本身的一个特性，它是通过组合storm的原语spout，... 阅读全文
posted @ 2015-07-08 22:10 LuckyBill 阅读(202) 评论(0) 推荐(0)
2015年6月25日
摘要：
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的... 阅读全文
posted @ 2015-06-25 22:40 LuckyBill 阅读(115) 评论(0) 推荐(0)
摘要：
package com.billstudy.zookeeper;import java.util.ArrayList;import java.util.List;import java.util.concurrent.TimeUnit;import org.apache.zookeeper.Crea... 阅读全文
posted @ 2015-06-25 22:38 LuckyBill 阅读(134) 评论(0) 推荐(0)
摘要：
package com.billstudy.zookeeper;import java.util.ArrayList;import java.util.List;import java.util.concurrent.TimeUnit;import org.apache.zookeeper.Crea... 阅读全文
posted @ 2015-06-25 22:37 LuckyBill 阅读(161) 评论(0) 推荐(0)
摘要：
package com.billstudy.mr.friends;import java.io.IOException;import java.util.Arrays;import java.util.concurrent.TimeUnit;import org.apache.hadoop.conf... 阅读全文
posted @ 2015-06-25 22:31 LuckyBill 阅读(248) 评论(0) 推荐(0)
2015年6月18日
摘要：
runtime! debian.vim"设置编码set encoding=utf-8set fencs=utf-8,ucs-bom,shift-jis,gb18030,gbk,gb2312,cp936set fileencodings=utf-8,ucs-bom,chinese "语言设置set l... 阅读全文
posted @ 2015-06-18 07:49 LuckyBill 阅读(198) 评论(0) 推荐(0)
2015年6月9日
摘要：
环境准备：一、11台测试机器 hostname:v1 ~ v10 (10台测试机) ip:192.168.33.81(v1) ~ 192.168.33.90(v101) 由于在内网测试，需要搭建个内网yum源，方便安装软件。yum所在机器为192.168.33.101二、待实现功能 下面分别使... 阅读全文
posted @ 2015-06-09 21:50 LuckyBill 阅读(360) 评论(0) 推荐(0)
2015年6月2日
摘要：
client通过DistributedFileSystem对象调用create()方法创建文件，实际上通过RPC调用了NameNode的方法。NameNode收到client的请求之后，执行各种检查（1.确认要传文件目前在HDFS上不存在，2.client具有写的权限）如果通过则会为新文件创建一条记... 阅读全文
posted @ 2015-06-02 22:46 LuckyBill 阅读(146) 评论(0) 推荐(0)
浙公网安备 33010602011771号