随笔分类 -  hive

hive-事务
摘要：参考：hive-事务支持背景介绍在0.13.0版本之前，hive只能进行块级事务的操作，由于hive是基于HDFS的操作，所以都是以块为单位进行存储继0.13.0版本之后，hive开始支持事务处理，也就是说hive可以支持以行为单位的原子性操作，以及具有acid的特性... 阅读全文
posted @ 2018-09-04 17:02 crr121 阅读(288) 评论(0) 推荐(0)
hive的排序方式的比较
摘要：order by :全排序 ，所有的任务分配在一个reduce上面,将会花费大量的时间，可以保证全局有序同时还需要设置下面两个参数：hive> set sethive.strict.checks.large.query=false;#大规模查询的检查为falsehiv... 阅读全文
posted @ 2018-09-03 22:11 crr121 阅读(361) 评论(0) 推荐(0)
加载表数据的时候一定要注意分隔符一致
摘要：创建表的时候使用的字段分隔符和加载的文本数据里面的分隔符一致，否则加载到表里面的数据为NULLps:创建表结构，使用逗号为字段分隔符。hive> create table order_info(oid int,oname string,price int,cid in... 阅读全文
posted @ 2018-09-03 21:16 crr121 阅读(179) 评论(0) 推荐(0)
hive实现单词统计
摘要：参考博客：一个hive小案例：使用HIVE进行单词统计, 并把结果存入mysql问题：统计客户某个年龄有多少人客户表信息hive> desc customer_info;OKid intname ... 阅读全文
posted @ 2018-09-03 11:21 crr121 阅读(710) 评论(0) 推荐(0)
hive-连接查询
摘要：内连接查询hive> select * from customer as c , orderInfo as o where c.id = o.cid;11 tom1 1 cc price1 1112 tom2 2... 阅读全文
posted @ 2018-08-28 17:21 crr121 阅读(373) 评论(0) 推荐(0)
hive创建桶表
摘要：创建桶表hive> create table house_1(id int,name string,age int) clustered by (id) into 3 buckets row format delimited fields terminated by ... 阅读全文
posted @ 2018-08-19 11:26 crr121 阅读(454) 评论(0) 推荐(0)
beeline连接数据库报错Could not open client transport with JDBC Uri: jdbc:hive2://localhost:10000/cr: java.n
摘要：beeline> !connect jdbc:hive2://localhost:10000/crConnecting to jdbc:hive2://localhost:10000/crEnter username for jdbc:hive2://localhos... 阅读全文
posted @ 2018-08-19 11:26 crr121 阅读(8323) 评论(0) 推荐(0)
beeline执行insert命令时报错Permission denied: user=anonymous, access=EXECUTE, inode="/tmp/hadoop-yarn":xiao
摘要：0: jdbc:hive2://localhost:10000/cr> insert into student values(4,'sunny');WARNING: Hive-on-MR is deprecated in Hive 2 and may not be a... 阅读全文
posted @ 2018-08-19 11:26 crr121 阅读(2031) 评论(0) 推荐(0)
hive创建表-加载表数据-创建分区表
摘要：创建表（条件之间不能有逗号 fields terminated by ',' 字段之间以逗号分隔）0: jdbc:hive2://localhost:10000/cr> create table if not exists teacher(id int,name s... 阅读全文
posted @ 2018-08-19 11:26 crr121 阅读(1703) 评论(0) 推荐(0)
hive的访问：通过JDBC远程连接hive数据仓库
摘要：hive的访问：终端访问 远程访问终端访问：安装hive，利用shell脚本访问 不可并发访问远程访问：通过JDBC连接数据仓库 支持并发访问启动hiveserver2服务：查看该命令可知hiveserver2,等价于hive --service hiveserve... 阅读全文
posted @ 2018-08-19 11:26 crr121 阅读(944) 评论(0) 推荐(0)
hive初始化元数据 Access denied for user 'xiaoqiu'@'%' to database 'hive_metastore'
摘要：[xiaoqiu@s150 /soft/hive/conf]$ schematool -initSchema -dbType mysqlSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found bi... 阅读全文
posted @ 2018-08-19 11:25 crr121 阅读(511) 评论(0) 推荐(0)
java.net.ConnectException: Call From s150/192.168.109.150 to s153:8020 failed on connection
摘要：java.net.ConnectException: Call From s150/192.168.109.150 to s153:8020 failed on connection exception: java.net.ConnectException: Conn... 阅读全文
posted @ 2018-08-19 11:24 crr121 阅读(610) 评论(0) 推荐(0)
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
摘要：2018-08-06T13:40:10,699 ERROR [41e6cbb7-d859-4b90-8375-c9808c786abc main] metastore.RetryingHMSHandler: Retrying HMSHandler after 2000... 阅读全文
posted @ 2018-08-19 11:24 crr121 阅读(423) 评论(0) 推荐(0)
hive执行insert语句时报错
摘要：错误提示如下：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTaskMapReduce Jobs Launched:Stage-Stage-1:... 阅读全文
posted @ 2018-08-19 11:24 crr121 阅读(717) 评论(0) 推荐(0)
启动hive出现 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyExceptio
摘要：启动hive出现standbyexception:Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoo... 阅读全文
posted @ 2018-08-19 11:22 crr121 阅读(2355) 评论(0) 推荐(0)
hive learing_1
摘要：1、什么是hivehive是基于Hadoop的一种数据库仓库工具，将结构化数据映射为一张数据表，并提供SQL查询，分析等功能2、hive的特点将数据结构（shema）存储在数据库中，数据存储在HDFS中 适用于联机分析处理（OLAP:on-line analytic ... 阅读全文
posted @ 2018-08-19 11:22 crr121 阅读(105) 评论(0) 推荐(0)
在hive中执行sql语句：SemanticException org.apache.hadoop.hive.ql.metadata.HiveException:
摘要：hive> show databases;FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to... 阅读全文
posted @ 2018-08-19 11:22 crr121 阅读(12344) 评论(0) 推荐(1)