06 2016 档案

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
摘要：今天在用mr 生成HFile文件，在执行jar 的时候出现一个错误： Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 解决办法： wget ht 阅读全文
posted @ 2016-06-14 16:15 zhanggl 阅读(328) 评论(0) 推荐(0) 编辑
Maven 打包
摘要：方式1 修改pom.xml增加如下内容 运行mvn clean package即可 特点： 这种方式虽然可以打包，但是不会将依赖包也添加进去。所以我认为这种方式的打包适合写一个工具，然后打成JAR包，导入其他工程使用，如果是一个单独运行的JAR包，则不适用。 方式2 在pom.xml增加如下内容 运 阅读全文
posted @ 2016-06-14 15:39 zhanggl 阅读(553) 评论(0) 推荐(0) 编辑
HDFS 工具类
摘要：读取HDFS上文件数据 HBase 随机生成rowkey 前置处理 HBase Util工具类，用put方式批量或者单条数据入库 阅读全文
posted @ 2016-06-14 14:42 zhanggl 阅读(1592) 评论(0) 推荐(0) 编辑
用MR生成HFile文件格式后，数据批量导入HBase
摘要：环境hadoop cdh5.4.7 hbase1.0.0 测试数据： topsid uid roler_num typ 10 111111 255 0 在Hbase 创建t2数据库： create 't2','info'。创建数据库t2， columnFamily：info 输出目录要有带colum 阅读全文
posted @ 2016-06-06 10:44 zhanggl 阅读(4428) 评论(0) 推荐(0) 编辑