随笔分类 -  Hadoop

HBase集群安装
摘要：环境：CentOS 6.4,Hadoop 2.6.0,ZooKeeper 3.4.6,HBase 1.0.1.1集群角色规划：HostNameHBase RoleZooKeeperHadoop RoleHDP1MasterYESSlaveHDP2Backup Master & RegionServe... 阅读全文
posted @ 2015-07-27 09:43 Joe.TJ 阅读(6761) 评论(1) 推荐(0)
ZooKeeper群集安装
摘要：4节点Hadoop安装ZooKeeper。环境：CentOS 6.4，Hadoop 2.6.0，ZooKeeper 3.4.6HostNameHadoop RolemyidHDP1Slave1HDP2Master2HDP3Slave3HDP4Slave41. 在任一节点上解压安装zookeeper。... 阅读全文
posted @ 2015-07-24 09:32 Joe.TJ 阅读(419) 评论(0) 推荐(0)
CentOS 6+Hadoop 2.6.0分布式集群安装
摘要：1.角色分配IPRoleHostname192.168.18.37Master/NameNode/JobTrackerHDP1192.168.18.35Slave/DataNode/TaskTrackerHDP2192.168.18.36Slave/DataNode/TaskTrackerHDP32... 阅读全文
posted @ 2015-07-23 16:39 Joe.TJ 阅读(757) 评论(0) 推荐(0)
Hive中使用Python实现Transform时遇到Broken pipe错误排查
摘要：Hive中有一表，列分隔符为冒号(:)，有一列utime是Timestamp格式，需要转成Weekday存到新表。利用Python写一个Pipeline的Transform，weekday.py的代码也很简单：import sysimport datetimefor line in sys.stdi... 阅读全文
posted @ 2015-07-13 17:30 Joe.TJ 阅读(12438) 评论(1) 推荐(1)