摘要：最近在写一个Java工具，其中调用了各种SHELL命令，使用了Runtime.getRuntime().exec(command);这个方法。但是在我调用某个命令执行操作时，程序就卡在那了，但是其他操作却能够正常输出，经过了一番查找和摸索，终于明白了原来Java在执行命令时输出到某个Buf... 阅读全文

摘要：Hive会将执行的SQL语句翻译成对应MapReduce任务，当SQL语句比较简单时，性能还是可能处于可接受的范围。但是如果涉及到非常复杂的业务逻辑，特别是通过程序的方式（一些模版语言生成）生成大量判断语句时，出现的问题就会比较多。 精简Hive使用的SQL 当前项目中如果打包的数量过多... 阅读全文

摘要：原本系统之间通信采用Restful Web Service，但其中没有考虑安全性问题，因此决定使用稍微复杂点的二进制协议，Hessian服务。 Hessian是一个轻量级的Remoting On HTTP工具，使用简单的方法提供了RMI的功能，相比Web Service，Hessian更简... 阅读全文

摘要：对于Hadoop来说，是通过在DataNode中启动Map/Reduce java进程的方式来实现分布式计算处理的，那么就从源码层简要分析一下hadoop中启动Map/Reduce任务的过程。 首先，对于Map/Reduce端启动的任务，都是通过一些参数来控制java opts的，mapr... 阅读全文

摘要：Hive中的外部表对于Hive中的外部表来说，因为表是外部的，Hive认为其并不拥有这份数据，删除该表并不会真正删除其中的数据，其中的表描述元信息会被删除掉。 对数据进行分区后，对于管理表，可以将其显示在hdfs目录中，但是外部表目录中不会真正存在数据，只能通过show partitions... 阅读全文

摘要：对于企业应用来说，数据是许多业务的命脉，软件通常是可替换的，但是多年积累的数据是永远不能替换的。 近些年来，以信息为中心的表述性状态转移(Representational State Transfer， REST）已成为替换传统SOAP Web服务的流行方案，为了帮助Spring开发人员，... 阅读全文