随笔分类 -  hadoop

摘要:http://blog.csdn.net/thomas0yang/article/details/412112591、RPC框架概述1.1 RPC(Remote Procedure Call Protocol)—— 远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技... 阅读全文
posted @ 2015-03-25 15:42 xiongjianjun 阅读(280) 评论(0) 推荐(0)
摘要:对应Derby作为默认数据库的时候,多个shell 客户端就会挂掉,此时kill 掉hive 进程就可以, kill 命令: kill -9 `ps -ef |grep hive |awk '{print $2}' ` 1:Shuffle Error: Exceeded MAX_FAILED_UNI... 阅读全文
posted @ 2014-09-18 10:45 xiongjianjun 阅读(864) 评论(0) 推荐(0)
摘要:一.RPC协议在分析协议之前,我觉得我们很有必要先搞清楚协议是什么。下面我就谈一点自己的认识吧。如果你学过java的网络编程,你一定知道:当客户端发送一个字节给服务端时,服务端必须也要有一个读字节的方法在阻塞等待;反之亦然。 这种我把它称为底层的通信协议。可是对于一个大型的网络通信系统来说,很显然这... 阅读全文
posted @ 2014-08-30 16:34 xiongjianjun 阅读(161) 评论(0) 推荐(0)
摘要:概念:Hadoop有一个叫DataJoin的包为Data Join提供相应的框架。它的Jar包存在于contrib/datajoin/hadoop-*-datajoin。为区别于其他的data join技术,我们称其为reduce-side join。(因为我们在reducer上作大多数的工作)re... 阅读全文
posted @ 2014-08-27 13:37 xiongjianjun 阅读(234) 评论(0) 推荐(0)
摘要:问题1:在执行命令hadoop namenode -format时,报not find user的问题。解决:两点,1 我用的jvm是IBM的,改成SUN公司的,2 java_home变量里面不能有空格,单靠\转义不行,需要将windows里面的JDK隐射到cygwin里面去。命令如下命令 ln -... 阅读全文
posted @ 2012-10-29 13:25 xiongjianjun 阅读(111) 评论(0) 推荐(0)