摘要：
本文主要记录手动安装cloudera Hive cdh4.2.0集群过程，环境设置及Hadoop、HBase安装过程见上篇文章。安装hivehive安装在desktop1上，注意hive默认是使用derby数据库保存元数据，这里替换为postgresql，下面会提到postgresql的安装说明，并且需要拷贝postgres的jdbc jar文件导hive的lib目录下。上传文件上传hive-0.10.0-cdh4.2.0.tar到desktop1的/opt，并解压缩安装postgres创建数据库这里创建数据库metastore并创建hiveuser用户，其密码为redhat。psql -U 阅读全文
阅读排行榜
SqlDataAdapter的使用注意事项
2013-07-02 10:12 by java20130722, 439 阅读, 收藏,
摘要：
转自：http://tankywang.iteye.com/blog/1195910(向原作者致敬)如果使用SqlDataAdapter来查询数据返回给DataSet或者DataTable时需要注意以下几点:1、如果SqlDataAdapter的SelectCommand的连接并没有打开，使用SqlDataAdapter的Fill方法时会自动打开数据库连接，并在方法执行完毕自动关闭连接。如果连接在使用Fill方法之前已经打开，方法执行结束后会保持连接的现有状态，不会关闭连接。2、如果你在同一个Connection上有一系列的连续操作，例如执行多个Fill操作，你应该在最开始使用Connecti 阅读全文
hue 安装 + authrization manager安装
2013-04-01 09:39 by java20130722, 439 阅读, 收藏,
摘要：
hue安装一，下载相应的hue版本包http://archive.cloudera.com/cdh/3/二，解压 自动到/usr/local下三,安装预备软件确定所有需要的工具都已经被安装成功,否则下面的make install无法进行：RedhatDebianGccGcclibxml2-devellibxml2-devlibxslt-devellibxslt-devcyrus-sasl-devellibsasl2-devmysql-devellibmysqlclient-devpython-develpython-devpython-setuptoolspython-setuptoolspy 阅读全文
Hadoop基于Shell命令与底层Unix操作系统的交互
2013-03-20 08:50 by java20130722, 439 阅读, 收藏,
摘要：
在阅读Hadoop源代码过程中，在org.apache.hadoop.security.UnixUserGroupInformation类中，需要获取到Unix系统的用户名和所属组的信息，就需要通过执行Shell命令得到相应的结果，这里，通过阅读Hadoop项目org.apache.hadoop.util包、org.apache.hadoop.fs.shell包、org.apache.hadoop.fs包中文件来了解，Hadoop基于Shell命令与底层Unix操作系统的交互，以及在MapReduce模型中通过命令行的方式提交管理计算任务的一些详细情况。首先看一下，与Unix系统命令行执行有关 阅读全文
hadoop配置(个人总结)
2013-03-11 20:45 by java20130722, 437 阅读, 收藏,
摘要：
实验机器： namenode: 192.168.120.63 - centos5 datanode: 192.168.120.64 -centos5 datanode: 192.168.120.65 -centos5配置目标: 63机器作为namenode, secondarynamenode 64和65机器作为datanode和tasknode 每台机器使用hadoop账户来管理和运行hadoop配置步骤： 1. 准备文件，包括 jdk 和 hadoop jdk下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk6u 阅读全文
浙公网安备 33010602011771号