随笔分类 - hadoop
摘要:http://blog.csdn.net/thomas0yang/article/details/412112591、RPC框架概述1.1 RPC(Remote Procedure Call Protocol)—— 远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技...
阅读全文
摘要:对应Derby作为默认数据库的时候,多个shell 客户端就会挂掉,此时kill 掉hive 进程就可以, kill 命令: kill -9 `ps -ef |grep hive |awk '{print $2}' ` 1:Shuffle Error: Exceeded MAX_FAILED_UNI...
阅读全文
摘要:一.RPC协议在分析协议之前,我觉得我们很有必要先搞清楚协议是什么。下面我就谈一点自己的认识吧。如果你学过java的网络编程,你一定知道:当客户端发送一个字节给服务端时,服务端必须也要有一个读字节的方法在阻塞等待;反之亦然。 这种我把它称为底层的通信协议。可是对于一个大型的网络通信系统来说,很显然这...
阅读全文
摘要:概念:Hadoop有一个叫DataJoin的包为Data Join提供相应的框架。它的Jar包存在于contrib/datajoin/hadoop-*-datajoin。为区别于其他的data join技术,我们称其为reduce-side join。(因为我们在reducer上作大多数的工作)re...
阅读全文
摘要:问题1:在执行命令hadoop namenode -format时,报not find user的问题。解决:两点,1 我用的jvm是IBM的,改成SUN公司的,2 java_home变量里面不能有空格,单靠\转义不行,需要将windows里面的JDK隐射到cygwin里面去。命令如下命令 ln -...
阅读全文
浙公网安备 33010602011771号