| | | | |

2016年4月5日

摘要： hive中新加字段需要注意如下 1）如果表中有分区字段，必须先删除分区才能插入数据否则为null; 2）insert override TABLE table1 select counm1,counm2 from table2; counm1,counm2的顺序必须与table1中字段的顺序一致否则阅读全文

posted @ 2016-04-05 15:03 呢喃的歌声阅读(1399) 评论(0) 推荐(0)

Sqoop学习笔记_Sqoop的基本使用一

摘要： Sqoop 关系DB与Hive/HDFS/HBase导入导出的Mapreduce框架。 http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.0/SqoopUserGuide.html ETL: Extraction-Transforma 阅读全文

posted @ 2016-04-05 14:54 呢喃的歌声阅读(3326) 评论(4) 推荐(0)

hive报错（ Non-Partition column appears in the partition specification）

摘要：在写及测的过程中发现的，有一些可能需要进一步验证。有时候hive报错位置不一定正确需要多确认 1 FAILED: NullPointerException null 不能用视图作为left outer join的右表 2 FAILED: UDFArgumentTypeException Only n 阅读全文

posted @ 2016-04-05 00:31 呢喃的歌声阅读(1474) 评论(0) 推荐(0)

2016年4月3日

cloudera安装报错 socket.gaierror: [Errno -2] Name or service not known

摘要：有时候安装cloudera会报socket.gaierror: [Errno -2] Name or service not known，或者服务器可能IP或mac地址冲突会引发次错误。导致机器服务不能正常运行和重装。解决办法：在cloudera安装过程中遇到socket.gaierror: [ 阅读全文

posted @ 2016-04-03 12:58 呢喃的歌声阅读(7356) 评论(0) 推荐(0)

2016年4月1日

hive学习笔记_hive的表创建

摘要：创建hive表注意事项一、表分隔符必须与读取的数据文件一致，比如例子的分隔符为 '\t'（制表符），hive下默认分隔符是制表符。二、最好指定分区作为数据之间的区分。三、创建完表可以desc+表明进行查看，字段名称（field），类型（type），common（备注，默认没的话为空）。 eg：阅读全文

posted @ 2016-04-01 12:54 呢喃的歌声阅读(448) 评论(0) 推荐(0)

hive学习笔记_hive的介绍与安装

摘要：一、什么是Hive Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据阅读全文

posted @ 2016-04-01 11:58 呢喃的歌声阅读(358) 评论(0) 推荐(0)

2016年4月5日

2016年4月3日

2016年4月1日

公告