04 2017 档案

hadoop2的mapreduce操作hbase数据
摘要：1、从hbase中取数据，再把计算结果插入hbase中 2、从hdfs中取数据，把计算的结果插入到hdfs中 阅读全文
posted @ 2017-04-28 16:26 莫为 阅读(2921) 评论(0) 推荐(0)
清除linux缓存命令
摘要：命令 #sync #echo 3 > /proc/sys/vm/drop_caches 查看内存情况： # more /proc/meminfo Kernels 2.6.16 and newer provide a mechanism to have the kernel drop the page 阅读全文
posted @ 2017-04-28 14:59 莫为 阅读(1347) 评论(0) 推荐(0)
window下eclipse4.5+hadoop2.6.1开发环境配置
摘要：1、准备: eclipse4.5，hadoop2.6.1,hadoop-eclipse-plugin-2.6.0.jar。 2、eclipse配置 Location name :xxxx 名字随便取 Map/Reduce(V2)Master 下 Host:n1 hadoop主节点(master)机器 阅读全文
posted @ 2017-04-28 14:07 莫为 阅读(129) 评论(0) 推荐(0)
sqoop1.4.6从mysql导入hdfs\hive\hbase实例
摘要：//验证sqoop是否连接到mysql数据库sqoop list-tables --connect 'jdbc:mysql://n1/guizhou_test?useUnicode=true&characterEncoding=utf-8' --username root --password ro 阅读全文
posted @ 2017-04-27 15:03 莫为 阅读(1335) 评论(0) 推荐(0)
sqoop1.9.7安装和使用
摘要：安装1、下载sqoop1.9.7。地址： http://www.apache.org/dyn/closer.lua/sqoop/1.99.72、解压sqoop ,并配置环境变量 ~/.bash_profile export SQOOP_HOME=/home/sqoop-1.99.7-bin-hado 阅读全文
posted @ 2017-04-25 09:35 莫为 阅读(2589) 评论(1) 推荐(0)
sqoop1.4.6导出oracle实例
摘要：1、导入odbj6.jar到$SQOOP_HOME/lib目录下。 2、sqoop import --append --connect jdbc:oracle:thin:@219.216.110.120:1521:orcl --username TEST1 --password test1 --ta 阅读全文
posted @ 2017-04-19 16:11 莫为 阅读(982) 评论(0) 推荐(0)
sqoop1.4.6配置安装
摘要：1、下载sqoop1.4.6 2、配置环境变量。 3、复制sqoop/conf/sqoop-env-template.sh为sqoop-env.sh 添加相关的配置 #Setpath to where bin/Hadoop is available exportHADOOP_COMMON_HOME= 阅读全文
posted @ 2017-04-19 16:08 莫为 阅读(244) 评论(0) 推荐(0)
java 操作hbase1.2
摘要：转处：http://blog.csdn.net/rkjava/article/details/48789683 阅读全文
posted @ 2017-04-14 18:39 莫为 阅读(1035) 评论(0) 推荐(0)
hbase-1.2.5完全分布式部署
摘要：详细配置参考http://abloz.com/hbase/book.html#distributed ，2.2.2.2小节 1、修改hbase-site.xml文件.添加如下配置 cluster为hadoop集群的名字 <property> <name>hbase.rootdir</name> <v 阅读全文
posted @ 2017-04-14 18:01 莫为 阅读(187) 评论(0) 推荐(0)
hadoop2.6环境中部署hive1.2.2的错误
摘要：1、hive配置遇到的问题（ Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D） 解决方案如下： 1.查看hive-site.xml配置，会看到配置值含有"system:java.io. 阅读全文
posted @ 2017-04-11 18:47 莫为 阅读(222) 评论(0) 推荐(0)
hive 创建表和导入数据实例
摘要：//创建数据库create datebase hive;//创建表create table t_emp(id int,name string,age int,dept_name string,like array<string>,tedian map<string,string>)row forma 阅读全文
posted @ 2017-04-11 18:46 莫为 阅读(712) 评论(0) 推荐(0)
hive1.2.2部署
摘要：1、解压hvie.tar,进入conf目录下，cp hive-default.xml.template hive-site.xml; 2、将hive下的新版本jline的JAR包拷贝到hadoop下：cp /hive/apache-hive-1.1.0-bin/lib/jline-2.12.jar 阅读全文
posted @ 2017-04-11 18:46 莫为 阅读(418) 评论(0) 推荐(0)