摘要：工作太忙，隔了好久的HIVE没玩，捡起来重新学习下，建表出现错误如： Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec 阅读全文

摘要：问题：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 情景：将hbase内建的宽表映射到hive内，出现报错... 版本：使用的是hadoop三大版本中的CDH，hive:hive- 阅读全文

摘要：关于hive数据仓库的调优方式有很多种，留篇博客用来方便记忆... 1、设置本地模式 在hive0.7版本之后就开始支持任务执行选择本地模式(local mode)，尽管hive是基于hadoop集群来做大数据处理的，但是有时会出现输入的数据量非常小，其查询出发执行任务的消耗时间远远大于job执行时 阅读全文

摘要：问题：beeline连接HIVE一直登录不上 原因：hiveserver2增加了权限控制 试着在hadoop的配置文件core-site.xml中加入以下配置，重启hadoop <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value> 阅读全文

摘要：在hive内部有许多函数，如下： 内置运算符 关系运算符 算术运算符 逻辑运算符 复杂类型函数 内置函数内置聚合函数 数学函数 收集函数 类型转换函数 日期函数 条件函数 字符函数 内置聚合函数 内置表生成函数 1.1关系运算符 1. 等值比较: = 2. 等值比较:<=> 3. 不等值比较: <> 阅读全文

摘要：hive属于一种类SQL数据库 配置信息 pwd =>/opt/bigdata/hadoop/hive110/conf hive110/conf/hive-site.xml配置 <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml- 阅读全文

摘要：一、首先谈一谈zookeeper的选举机制 注:高可用集群中有两台机器作为namenode,无论在任何时候，集群中只能有一个namenode作为active状态，而另一个是standby状态,为了达到namenode快速容错的目的，引入zookeeper后，hadoop-ha可以在active的na 阅读全文

摘要：当Client申请作业后，Resource Scheduler会进行调度，同时开启Map Task 和Reduce Task 测试一：mapper->reducer ##数据量<80Mb,在mapper端不设置combiner 若不设置combiner，经过map之后的文件数据将直接到达reduce 阅读全文

摘要：hadoop-2.6.0.tar.gz（压缩包网址 https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/） 配置前需要配置主机名：vi etc/hosts ip loclhost ... 1、修改目录权限 chown -R root: 阅读全文