摘要：
hadoop2.2.0 ha集群搭建使用的文件如下： jdk-6u45-linux-x64.bin hadoop-2.2.0.x86_64.tar zookeeper-3.4.5.tar.gz hbase-0.96.2-hadoop2-bin.tar 使用WinSCP工具将上述文件复制到linux的... 阅读全文
posted @ 2014-08-29 11:30
孟尧
阅读(271)
评论(0)
推荐(0)
摘要：
由于在Hadoop-2.x中，Apache官网上提供的都是32位版本，如果是生产环境中则需要自行编译64位，编译Hadoop-2.x版本方法如下：安装编译源码所依赖的底层库 yum install glibc-headers yum install gcc yum install gcc-c+... 阅读全文
posted @ 2014-07-08 10:33
孟尧
阅读(299)
评论(0)
推荐(0)
摘要：
如果在使用Sqoop将Hive中的数据导出到mysql的时候报如下错误：[yao.meng@h1 ~]$ sqoop export --connect "jdbc:mysql://192.168.14.71:3306/rtcrawler?useUnicode=true&characterEncodi... 阅读全文
posted @ 2013-05-07 19:54
孟尧
阅读(8816)
评论(0)
推荐(0)
摘要：
##以上完成后在h3机器上配置sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz查看sqoop提供的命令[root@h4sqoop-1.4.4]# bin/sqoop helpPlease set $HCAT_HOME to the root of your HCa... 阅读全文
posted @ 2013-04-30 23:32
孟尧
阅读(2384)
评论(0)
推荐(0)
摘要：
集群如下：HostName IP Soft Processh1 192.168.1.31 Hadoop,Hbase NameNode(Active),DFSZKFailoverController,HMaster(Active)h2 192.1... 阅读全文
posted @ 2013-04-29 23:27
孟尧
阅读(394)
评论(0)
推荐(0)
摘要：
Sqoop是什么？ sqoop是一个用来将hadoop和rdbms（mysql、oracle、postgres）的数据进行相互迁移的工具；他可以将rdbms的数据导入到hadoop的hdfs中，也可以将hdfs的数据导出到rdbms中。Sqoop原理？ Sqoop中一大亮点就是可以通过hadoo... 阅读全文
posted @ 2013-04-14 13:32
孟尧
阅读(501)
评论(0)
推荐(0)
摘要：
package com.rtmap.udfs; import org.apache.commons.lang3.StringUtils; import org.apache.hadoop.hive.ql.exec.UDAF; import org.apache.hadoop.hive.ql.exec.UDAFEvaluator; import java.text.ParseException... 阅读全文
posted @ 2013-03-13 14:45
孟尧
阅读(188)
评论(0)
推荐(0)
摘要：
需求： 原始数据为 F8 楼梯 MULTIPOLYGON(((27.7363472618163 -76.4068597634723,27.7363472618163 -80.0131241459239,19.72894019261 -80.0118552827063,19.502938400954 阅读全文
posted @ 2013-03-12 13:52
孟尧
阅读(486)
评论(0)
推荐(0)
摘要：
1、添加依赖jar 4.0.0 com.mengyao.dataformat hortonworks 0.0.1-SNAPSHOT jar hortonworks http://maven.apache.org ... 阅读全文
posted @ 2013-03-11 17:12
孟尧
阅读(377)
评论(0)
推荐(0)
摘要：
hive hive是基于hadoop的一个数据仓库工具，可将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可将sql转换为MapReduce任务运行。hive不适合用于联机事务处理，也不提供实时查询，他适合应用在基于大量不可变的批处理作业。 hive架构分为四个部分： 用户接口： 阅读全文
posted @ 2013-03-07 16:54
孟尧
阅读(1325)
评论(0)
推荐(0)
浙公网安备 33010602011771号