随笔分类 -  Hive

Hive HMS Canary 时间较长异常分析
摘要：一、现象及异常 测试up1集群： create database 操作 200s 多一点。 # sudo -u hive hive --hiveconf hive.metastore.uris=thrift://10.197.1.141:9084 hive> create database wgte 阅读全文
posted @ 2021-02-19 09:28 笨小康u 阅读(2945) 评论(1) 推荐(1)
Hive参数配置方法
摘要：一、Hive参数配置方式 Hive中提供三种改变环境变量的方法，分别是：（1）修改 ${HIVE_HOME}/conf/hive-site.xml 配置文件；（2）命令行参数；（3）进入Hive客户端后手动设置。下面以修改‘hive.exec.scratchdir’参数为例具体介绍这三种方式。 假设 阅读全文
posted @ 2020-02-26 18:43 笨小康u 阅读(2326) 评论(0) 推荐(0)
Hive任务日志及日志调试
摘要：一、Hive日志介绍 Hive日志记录了程序运行的过程，在Hive中，日志分为两种： 系统日志。记录了Hive的运行情况，错误状况。 Job日志。记录了Hive中Job的执行过程。 1、系统日志存储在什么地方呢？在 ${HIVE_HOME}/conf/hive-log4j.properties 文件 阅读全文
posted @ 2020-02-26 18:35 笨小康u 阅读(8805) 评论(0) 推荐(0)
Hive之insert into与insert overwrite区别
摘要：一、实践先行，直接上手 1. hive 表及数据准备 建表，并插入初始数据。向表中插入 hive> use test; hive> create table kwang_test (id int, name string); hive> insert into kwang_test values(1 阅读全文
posted @ 2019-08-01 00:06 笨小康u 阅读(56461) 评论(0) 推荐(0)
Hive实现WordCount详解
摘要：一、WordCount原理 初学MapReduce编程，WordCount作为入门经典，类似于初学编程时的Hello World。WordCount的逻辑就是给定一个/多个文本，统计出文本中每次单词/词出现的次数。网上找的一张MapReduce实现WordCount的图例，基本描述清楚了WordCo 阅读全文
posted @ 2019-07-31 23:14 笨小康u 阅读(3775) 评论(0) 推荐(1)
CDH集群部署hive建表中文乱码
摘要：背景：部署CDH集群的 hive 服务，选用 mysql 作为 hive 元数据的存储数据库，通过 hive cli 建表时发现中文注释均乱码。 现象：hive端建表中文注释乱码。 定位： 已经确认过 mysql 库的默认编码是 utf-8，并且 mysql 中建库建表不存在中文乱码的情况。 于是查 阅读全文
posted @ 2019-07-24 01:10 笨小康u 阅读(1355) 评论(1) 推荐(0)
Hive端建表中文注释乱码
摘要：背景：MySQL编码是utf-8，MySQL中建库建表中文显示都正常，但在Hive窗口中建表时字段中文注释均乱码的问题。 问题：Hive中建表后字段中文注释显示异常。 1. 定位 MySQL 端问题 查看 MySQL 字符集编码 MySQL 中新建表中文注释显示正常 由此可以定位到并不是 MySQL 阅读全文
posted @ 2019-02-18 21:36 笨小康u 阅读(3702) 评论(0) 推荐(0)