摘要：在进行Map/Reduce时，有的业务需要在一个job中将数据写入到多个HBase的表中，下面是实现方式。原文地址：http://lookfirst.com/2011/07/hbase-multitableoutputformat-writing-to.htmlHBase MultiTableOutputFormat writing to multiple tables in one Map Reduce JobRecently, I've been having a lot of fun learning about HBase and Hadoop. One esoteric th 阅读全文

摘要：安装配置好之后，就可以使用啦。注意，需要自己将jdbc的jar包放到sqoop的lib目录下。1.将数据从sqlserver导出到hdfs： sqoop import --connect 'jdbc:sqlserver://192.168.68.90:1433;username=sa;password=sa;database=Feedback' --table user_info --split-by 'id' --fields-terminated-by ‘\t’ --warehouse-dir /Feedback导出的结果存在了hdfs的:/Feedback 阅读全文

摘要：取消hdfs权限限制： CM-->HDFS-->configuration, 搜索：dfs.permissions，取消勾选，然后deploye client configuration，然后重启hdfs。 Hbase中根据Rowkey的前缀Prefix查询数据： scan 'test_xiaomi 阅读全文

摘要：机械工业出版社2013第一版第二次印刷错误：第2章 P31：4）配置三台主机的Hadoop文件，内容如下：conf/Hadoop-env.sh：应为：conf/hadoop-env.shh应该小写很多“Hadoop ”都应写为“hadoop”，希望下一版本会更改过来。P32:bin/Hadoop NameNode -format应为：bin/hadoop namenode -format未完待续 阅读全文

摘要：本文以三台机器组成的一个Hadoop集群的安装与配置为例。三台机器的信息如下：hostname 角色 IPdc01 mast 192.168.68.57dc02 slave 192.168.68.58dc03 slave 192.168.68.59用户名均为root。1.安装JDK1.6并配置好java环境，参考：CentOS6 安装Tomcat7 中的安装jdk部分2.配置centos的SSH无密码登录：ssh-keygen -t dsa -P "" -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/author. 阅读全文