摘要：
承接安装系列hadoop，hive hive 与 kylin的搭建 在原有hadoop+hbase+hive+spark基础上搭建 hive 配置环境变量添加如下：/etc/profile和 ~/.bash_profile export HCAT_HOME=$HIVE_HOME/hcatalog e 阅读全文
posted @ 2017-04-30 16:57
Dlimeng
阅读(10)
评论(0)
推荐(0)
摘要：
承接安装系列hadoop,hbase 部署到（cdh5.5.1） 安装flume 下载安装包并解压 flume-ng-1.6.0-cdh5.5.1.tar.gz 配置环境变量：~/.bash_profile export FLUME_HOME=/itcast/flume-1.6.0 export P 阅读全文
posted @ 2017-04-30 16:54
Dlimeng
阅读(11)
评论(0)
推荐(0)
摘要：
部分调优 spark-env.sh: spark.speculation 的节点上也尝试执行该任务的一个副本。打开此选项会帮助减少大规模集群中个别较慢的任务带来的影响。默认值false spark.driver.memory 为driver进程分配的内存。注意：在客户端模式中，不能在SparkCon 阅读全文
posted @ 2017-04-30 16:52
Dlimeng
阅读(8)
评论(0)
推荐(0)
摘要：
1.自从spark2.0.0发布没有assembly的包了，在jars里面，是很多小jar包 修改目录查找jar 2.异常HiveConf of name hive.enable.spark.execution.engine does not exist 在hive-site.xml中： hive. 阅读全文
posted @ 2017-04-30 16:48
Dlimeng
阅读(13)
评论(0)
推荐(0)
摘要：
承接安装系列环境 背景：Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲S 阅读全文
posted @ 2017-04-30 16:43
Dlimeng
阅读(15)
评论(0)
推荐(0)
摘要：
Mondrian对Hive的支持 一．测试Mondrian对Hive的支持 1.创建一个web项目，把olap4j.jar Mondrian.jar以及hive相关的jar包放进项目中 2. 准备四张表 Customer - 客户信息维表 Product - 产品维表 ProductType - 产 阅读全文
posted @ 2017-04-30 16:40
Dlimeng
阅读(26)
评论(0)
推荐(0)
摘要：
承接安装系列hadoop,hbase环境 //hive 安装一个节点 1.上传tar包 2.解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /itcast/ 3.mkdir /itcast/hive-1.2.1/logs 4./itcast/hive-1.2 阅读全文
posted @ 2017-04-30 16:36
Dlimeng
阅读(7)
评论(0)
推荐(0)
摘要：
承接安装系列hadoop环境 1.上传hbase安装包 tar -zxvf hbase-0.96.2-hadoop2-bin.tar.gz -C /itcast/ 2.解压 3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了） 注意：要把hadoop的hdfs-site.xml和cor 阅读全文
posted @ 2017-04-30 16:32
Dlimeng
阅读(10)
评论(0)
推荐(0)
摘要：
操作过程中主要出现以下几个错误： Unsupported major.minor version 51.0 处理办法： eclipse下的项目的jdk环境和liux下的jdk环境不一致，将windows下的eclipse中的jdk环境与linux的环境更改一致 切换linux的jdk版本为1.7： 阅读全文
posted @ 2017-04-30 16:28
Dlimeng
阅读(16)
评论(0)
推荐(0)
摘要：
yum -y install lzo-devel zlib-devel gcc autoconf automake libtool gcc-c++ openssl-devel ncurses-devel ant maven protocolbuf findbugs cmake 1、Protobuf 阅读全文
posted @ 2017-04-30 16:26
Dlimeng
阅读(11)
评论(0)
推荐(0)
摘要：
注意：apache官网提供的hadoop-2.x的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.6.0就需要重新在64操作系统上重新编译 安装 yum install psmisc Killall -9 java 安装 gli 阅读全文
posted @ 2017-04-30 16:23
Dlimeng
阅读(9)
评论(0)
推荐(0)
浙公网安备 33010602011771号