随笔分类 -  HIVE

Hive字段中文注释乱码解决办法
摘要：Hive字段中文乱码，如执行 show create table xxx 时，表级别注释、字段级别注释发现有乱码现象， 一般都是由hive 元数据库的配置不当造成的。 此时可按如下步骤进行配置调整： 登录hive的元数据库mysql中：（不是在hive sql 环境下执行） 1、设置hive 元数据 阅读全文
posted @ 2018-01-29 13:52 ilvutm博园 阅读(4104) 评论(0) 推荐(0)
Hive 多分隔符的使用 (转载)
摘要：方法一)通过org.apache.hadoop.hive.contrib.serde2.RegexSerDe格式的serde。 1) 建表语句 #指定以^|~作为分隔符 CREATE TABlE tableex3(id STRING, name STRING) ROW FORMAT SERDE'or 阅读全文
posted @ 2017-10-21 11:53 ilvutm博园 阅读(727) 评论(0) 推荐(0)
Hive总结（七）Hive四种数据导入方式
摘要： 阅读全文
posted @ 2017-07-11 20:42 ilvutm博园 阅读(345) 评论(0) 推荐(0)
hive下UDF函数的使用
摘要：1、编写函数 [java] view plaincopyprint?package com.example.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.Text; public fi 阅读全文
posted @ 2017-07-11 20:40 ilvutm博园 阅读(2773) 评论(0) 推荐(0)
hive分区（partition）
摘要：网上有篇关于hive的partition的使用讲解的比较好，转载了：一、背景1、在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间 阅读全文
posted @ 2017-07-11 20:35 ilvutm博园 阅读(19383) 评论(0) 推荐(1)
hive导出查询文件到本地文件的2种办法
摘要：通过HQL语句 可以将hive 中表的数据生成到指定的目录。 有时候 我们可以利用hive来生成统计的中间文件（比源文件小的多的） 方法有如下2种： 1.INSERT OVERWRITE LOCAL DIRECTORY 将结果输出到指定的目录： 生成的文件数 和redurcer的数目的一样的 在hi 阅读全文
posted @ 2017-07-11 20:34 ilvutm博园 阅读(4713) 评论(1) 推荐(0)