摘要：
一、背景1、当进程在进行远程通信时，彼此可以发送各种类型的数据，无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输，称为对象序列化；接收方则需要把字节序列恢复为对象，称为对象的反序列化。2、Hive的反序列化是对key/value反序列化成hive table的每个列的值。3、Hive可以方便的将数据加载到表中而不需要对数据进行转换，这样在处理海量数据时可以节省大量的时间。二、技术细节1、SerDe是Serialize/Deserilize的简称，目的是用于序列化和反序列化。2、用户在建表时可以用自定义的SerDe或使用Hive自带的SerD 阅读全文
阅读排行榜
Hadoop程序打印调试
2013-06-28 18:11 by java20130722, 672 阅读, 收藏,
摘要：
转载 Hadoop程序打印调试1. System.out 和 System.errMain在Main函数里使用System.out标准输出和System.err标准错误输出，输出定向到执行程序节点的终端上。即在完全分布的Hadoop部署中，输出会定向到启动程序的节点的终端上。Mapper针对每个split，会实例化一个Mapper对象作为一个task，在Hadoop集群中的某个机器中的某个Map槽上执行。Mapper对象中的map函数和configure函数会被主程序以RPC方式调用。因此，在Mapper对象中System.out和System.err输出的结果并不会定向到执行程序节点的终端. 阅读全文
手动安装cloudera cdh4.2 hadoop + hbase + hive（一）
2013-05-12 00:10 by java20130722, 664 阅读, 收藏,
摘要：
安装版本hadoop-2.0.0-cdh4.2.0
hbase-0.94.2-cdh4.2.0
hive-0.10.0-cdh4.2.0
jdk1.6.0_38
安装前说明安装目录为/opt检查hosts文件关闭防火墙设置时钟同步使用说明安装hadoop、hbase、hive成功之后启动方式为：启动dfs和mapreduce desktop1上执行start-dfs.sh和start-yarn.sh启动hbase desktop3上执行start-hbase.xml启动hive desktop1上执行hive规划 192.168.0.1 NameNode、Hive... 阅读全文
HTML之实现下拉式菜单
2012-07-31 17:05 by java20130722, 662 阅读, 收藏,
摘要：
示例代码： menu1 menu1.1 menu1.2 menu1.3 menu1.4 menu2 menu2.1 menu2.2 menu2.3 menu2.4 menu3 menu3.1 menu3.2 menu3.3 menu3.4 自己简单解析一下:上面代码中,实现下拉式菜单主要是利用鼠标事件来改变css样式先利用css中的#nav li ul 将visiblity属性设置为hidden，将子菜单隐藏起来；再利用#nav li:hover ul { visibility : visible; }，当有鼠标进入时... 阅读全文
hive源码结构分析（编译器）
2013-02-28 11:29 by java20130722, 660 阅读, 收藏,
摘要：
本文转自：http://samuschen.iteye.com/blog/860809Hive是将SQL语句转换成hadoop的MapReduce程序，通常在客户端执行hive命令，然后输入SQL语句后，hive将SQL语句生成多个MR的job，然后将这些job提交给hadoop进行执行，完成后，再把结果放入到hdfs或者本地的临时文件中。Hive中的表结构信息都是保存在关系型数据库中，如mysql,derby等，可以通过hive-site.xml中配置数据库的URL,用户名，密码等。而表的实际数据内容保存在hadoop的hdfs文件中，行和列数据分别用特殊字符串分格开，以便能够读取数据，默认 阅读全文
浙公网安备 33010602011771号