sixi's blog.

摘要：今天在Centos下编译kapar后执行时出错，老说：[root@dc01 ~]# kapar kapar: error while loading shared libraries: libscamperfile.so.0: cannot open shared object file: No such file or directory刚开始还以为是64位系统的问题，换到32位的系统上以后依然如此。然后上网搜了下，发现时配置文件问题，找到了解决办法并且成功解决问题。我使用的是下面的第2种解决办法：原文出处：http://blog.csdn.net/sahusoft/article/deta 阅读全文

摘要：前段时间集群出问题，hadoop和hbase启动不了了。后来hadoop回复了，hbase死活master无法启动。打开日志发现报了以下错误：WARNING! File system needs to be upgraded. You have version null and I want version 7. Run the '${HBASE_HOME}/bin/hbase migrate' script.于是上网search，网上这位兄弟提供了解决办法：http://www.cnblogs.com/colorfulkoala/archive/2013/03/25/2980 阅读全文

摘要：/** * @Title: queryData * @Description: 从HBase查询出数据 * @author xxxx * @param tableName * 表名 * @param rowkey * rowkey * @return 返回用户信息的list * @throws IOException * @throws UnsupportedEncodingException */ public static ArrayList q... 阅读全文

摘要：在进行Map/Reduce时，有的业务需要在一个job中将数据写入到多个HBase的表中，下面是实现方式。原文地址：http://lookfirst.com/2011/07/hbase-multitableoutputformat-writing-to.htmlHBase MultiTableOutputFormat writing to multiple tables in one Map Reduce JobRecently, I've been having a lot of fun learning about HBase and Hadoop. One esoteric th 阅读全文

摘要：安装配置好之后，就可以使用啦。注意，需要自己将jdbc的jar包放到sqoop的lib目录下。1.将数据从sqlserver导出到hdfs： sqoop import --connect 'jdbc:sqlserver://192.168.68.90:1433;username=sa;password=sa;database=Feedback' --table user_info --split-by 'id' --fields-terminated-by ‘\t’ --warehouse-dir /Feedback导出的结果存在了hdfs的:/Feedback 阅读全文

摘要：参照这篇文章进行的，但是和作者的步骤有些不一样。#查看挂载点：df -h#显示：文件系统 容量 已用 可用 已用%% 挂载点/dev/mapper/vg_dc01-lv_root 47G 12G 34G 25% /tmpfs 504M 88K 504M 1% /dev/shm/dev/sda1 485M 31M 429M 7% /boot一、扩展VMWare硬盘空间 关闭Vmware 的 Linux系统，这样，才能在VMWare菜单中设置： VM -> Sett... 阅读全文