2015年8月18日
Hive压缩格式
摘要： TextFileHive数据表的默认格式，存储方式：行存储。可使用Gzip,Bzip2等压缩算法压缩,压缩后的文件不支持split但在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍。--创建数据表：create table if not ... 阅读全文
posted @ 2015-08-18 18:42 skyl夜 阅读(14721) 评论(2) 推荐(4) 编辑
解读：计数器Counter
摘要： Counters: 44File System Counters FILE: Number of bytes read=655771325 FILE: Number of bytes written=984244425 FILE: Number of rea... 阅读全文
posted @ 2015-08-18 16:35 skyl夜 阅读(2363) 评论(0) 推荐(0) 编辑
Sqoop相关
摘要： #sqoop安装1.常规步骤(安装在一台节点上即可)由于sqoop2配置相对比较麻烦，此次使用的是sqoop1进行演示。上传sqoop-1.4.4.bin_hadoop-2.0.4-alpha.tar.gz文件至/hadoop目录下，解压并重命名为sqoop-1.4.4，配置/etc/profile... 阅读全文
posted @ 2015-08-18 15:30 skyl夜 阅读(657) 评论(0) 推荐(0) 编辑