Dlimeng

2017年5月2日

摘要： job.waitForCompletion(true);进入源码 submit()-> connect();连接，客户端获取服务端的代理对象 connect()->new Cluster(getConfiguration()); Cluster(jobTrackAddr,conf)->initial 阅读全文

posted @ 2017-05-02 15:48 Dlimeng 阅读(6) 评论(0) 推荐(0)

MapReduce源码分析_李孟_新浪博客

posted @ 2017-05-02 15:48 Dlimeng 阅读(10) 评论(0) 推荐(0)

2017年4月30日

kylin安装---安装系列十一

摘要：承接安装系列hadoop，hive hive 与 kylin的搭建在原有hadoop+hbase+hive+spark基础上搭建 hive 配置环境变量添加如下：/etc/profile和 ~/.bash_profile export HCAT_HOME=$HIVE_HOME/hcatalog e 阅读全文

posted @ 2017-04-30 16:57 Dlimeng 阅读(10) 评论(0) 推荐(0)

phoenix安装---安装系列十

摘要：承接安装系列hadoop,hbase 部署到（cdh5.5.1）安装flume 下载安装包并解压 flume-ng-1.6.0-cdh5.5.1.tar.gz 配置环境变量：~/.bash_profile export FLUME_HOME=/itcast/flume-1.6.0 export P 阅读全文

posted @ 2017-04-30 16:54 Dlimeng 阅读(11) 评论(0) 推荐(0)

hadoop+hbase+hive+Spark环境性能调优---安装系列九

摘要：部分调优 spark-env.sh: spark.speculation 的节点上也尝试执行该任务的一个副本。打开此选项会帮助减少大规模集群中个别较慢的任务带来的影响。默认值false spark.driver.memory 为driver进程分配的内存。注意：在客户端模式中，不能在SparkCon 阅读全文

posted @ 2017-04-30 16:52 Dlimeng 阅读(8) 评论(0) 推荐(0)

spark报错---安装系列八

摘要： 1.自从spark2.0.0发布没有assembly的包了，在jars里面，是很多小jar包修改目录查找jar 2.异常HiveConf of name hive.enable.spark.execution.engine does not exist 在hive-site.xml中： hive. 阅读全文

posted @ 2017-04-30 16:48 Dlimeng 阅读(13) 评论(0) 推荐(0)

hive on spark安装

摘要：承接安装系列环境背景：Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲S 阅读全文

posted @ 2017-04-30 16:43 Dlimeng 阅读(15) 评论(0) 推荐(0)

hive报错---安装系列六

摘要： Mondrian对Hive的支持一．测试Mondrian对Hive的支持 1.创建一个web项目，把olap4j.jar Mondrian.jar以及hive相关的jar包放进项目中 2. 准备四张表 Customer - 客户信息维表 Product - 产品维表 ProductType - 产阅读全文

posted @ 2017-04-30 16:40 Dlimeng 阅读(26) 评论(0) 推荐(0)

hive环境---安装系列五

摘要：承接安装系列hadoop,hbase环境 //hive 安装一个节点 1.上传tar包 2.解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /itcast/ 3.mkdir /itcast/hive-1.2.1/logs 4./itcast/hive-1.2 阅读全文

posted @ 2017-04-30 16:36 Dlimeng 阅读(7) 评论(0) 推荐(0)

Hbase集群部署计划---安装系列四

摘要：承接安装系列hadoop环境 1.上传hbase安装包 tar -zxvf hbase-0.96.2-hadoop2-bin.tar.gz -C /itcast/ 2.解压 3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和cor 阅读全文

posted @ 2017-04-30 16:32 Dlimeng 阅读(10) 评论(0) 推荐(0)

公告