随笔分类 -  bigdata-hive

hive insert 动态分区异常(Error encountered near token)与解决
摘要：当insert数据到有分区的hive表里时若不明显指定分区会抛出异常 当指定分区后又会有非严格模式异常 此时依据错误提示set好非严格模式即可 阅读全文
posted @ 2018-12-18 20:56 新际航 阅读(6957) 评论(0) 推荐(0)
hive orc压缩数据异常java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.hive.ql.io.orc.OrcSerde$OrcSerdeRow
摘要：hive表在创建时候指定存储格式 当insert数据到表时抛出异常 此时查看表结构 可以看到SerDe Library 的格式是LazySimpleSerDe，序列化格式不是orc的,所以抛出异常 这里将表的序列化方式修改为orc即可 再看序列化格式已经是orc，使用insert(insert ov 阅读全文
posted @ 2018-12-18 16:12 新际航 阅读(6162) 评论(0) 推荐(2)
hadoop-lzo 安装配置
摘要：在hive中要想使用lzo的格式,需要配置安装好lzo工具并且在hadoop的core-site.xml与mapred-site.xml中配置相应的配置 一、编译安装lzo与lzop 在集群的每一台主机上都需要编译安装！！！ 1.下载编译安装lzo文件 http://www.oberhumer.co 阅读全文
posted @ 2018-12-04 12:10 新际航 阅读(2553) 评论(0) 推荐(0)
hive对于lzo文件处理异常Caused by: java.io.IOException: Compressed length 842086665 exceeds max block size 67108864 (probably corrupt file)
摘要：hive查询lzo数据格式文件的表时,抛 Caused by: java.io.IOException: Compressed length 842086665 exceeds max block size 67108864 (probably corrupt file) 这类异常,如图: 这是由于 阅读全文
posted @ 2018-10-30 11:39 新际航 阅读(748) 评论(0) 推荐(0)
python操作hive并且获取查询结果scheam
摘要：执行hive -e 命令并且获取对应的select查询出来的值及其对应的scheam字段 需要在执行语句中前部添加 set hive.cli.print.header=true; 这个设置,如下语句: hive -e "set hive.cli.print.header=true;use defau 阅读全文
posted @ 2018-10-18 20:59 新际航 阅读(3724) 评论(1) 推荐(0)
大数据-spark-hbase-hive等学习视频资料
摘要：不错的大数据spark学习资料，连接过期在评论区评论，再给你分享 链接：https://pan.baidu.com/s/1T3-Tzz6qXMuQ_lyGc_0xbQ 提取码：zofz 阅读全文
posted @ 2018-09-25 23:31 新际航 阅读(377) 评论(2) 推荐(0)
hive 2以上版本启动异常 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
摘要：hive2.0以上的版本启动时 抛出 “Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient”异常 这是由于2以上版本要首先初始化源数据库可以使用如下命令初始化 然后再直接使用 hive 阅读全文
posted @ 2018-09-06 15:57 新际航 阅读(1209) 评论(0) 推荐(0)
hive on hbase 数据表关联
摘要：有时，数据可以容易的存储在hive中,但是要导入到hbase里,可以不用写MR程序来操作,可以使用hive on hbase方式来创建相应的表关联关系来将hive中的数据导入到对应的hbase的表里，如下描述: 可以参考 hive与hbase关联表 1 、首先创建一张临时hive 内表: 2、将准备 阅读全文
posted @ 2017-09-19 10:28 新际航 阅读(1479) 评论(0) 推荐(0)