摘要：
转载自：http://lxw1234.com/archives/2015/07/416.htm 关键字：Spark On Yarn、Spark Yarn Cluster、Spark Yarn ClientSpark On Yarn模式配置非常简单，只需要下载... 阅读全文
posted @ 2016-01-01 21:22 ggzone 阅读(234) 评论(0) 推荐(0)
摘要：
转载自：http://lxw1234.com/archives/2015/07/416.htm 关键字：Spark On Yarn、Spark Yarn Cluster、Spark Yarn ClientSpark On Yarn模式配置非常简单，只需要下载编译好的Spark安装包，... 阅读全文
posted @ 2016-01-01 21:21 ggzone 阅读(715) 评论(0) 推荐(0)
摘要：
转载自：http://lxw1234.com/archives/2015/08/448.htm如果你已经有一个正常运行的Hadoop Yarn环境，那么只需要下载相应版本的Spark，解压之后做为Spark客户端即可。需要配置Yarn的配置文件目录，export HADOOP_CON... 阅读全文
posted @ 2016-01-01 21:19 ggzone 阅读(2544) 评论(0) 推荐(0)
摘要：
转载自：http://lxw1234.com/archives/2015/08/448.htm如果你已经有一个正常运行的Hadoop Yarn环境，那么只需要下载相应版本的Spark，解压之后做为Spark客户端即可。需要配置Yarn的配置文件目录，expo... 阅读全文
posted @ 2016-01-01 21:19 ggzone 阅读(192) 评论(0) 推荐(0)
摘要：
转载自：http://lxw1234.com/archives/2015/08/466.htm 本文将介绍以yarn-cluster模式运行SparkSQL应用程序，访问和操作Hive中的表，这个和在Yarn上运行普通的Spark应用程序有所不同，重点是需要将Hive的依赖包以及配置... 阅读全文
posted @ 2016-01-01 21:12 ggzone 阅读(808) 评论(0) 推荐(0)
摘要：
转载自：http://lxw1234.com/archives/2015/08/466.htm 本文将介绍以yarn-cluster模式运行SparkSQL应用程序，访问和操作Hive中的表，这个和在Yarn上运行普通的Spark应用程序有所不同，重点是需要... 阅读全文
posted @ 2016-01-01 21:12 ggzone 阅读(294) 评论(0) 推荐(0)
摘要：
使用hive访问elasticsearch的数据1.配置 将elasticsearch-hadoop-2.1.1.jar拷贝到hive/libhive -hiveconf hive.aux.jars.path=/usr/local/hive-1.2.1/lib/elasticsear... 阅读全文
posted @ 2016-01-01 20:53 ggzone 阅读(914) 评论(0) 推荐(0)
摘要：
使用hive访问elasticsearch的数据1.配置 将elasticsearch-hadoop-2.1.1.jar拷贝到hive/libhive -hiveconf hive.aux.jars.path=/usr/local/hive-1.2.1/li... 阅读全文
posted @ 2016-01-01 20:53 ggzone 阅读(234) 评论(0) 推荐(0)
摘要：
yarn-site.xml yarn.nodemanager.resource.memory-mb 22528 每个节点可用内存,单位MB,默认8182MB yarn.scheduler.minimum-allocatio... 阅读全文
posted @ 2016-01-01 20:43 ggzone 阅读(205) 评论(0) 推荐(0)
摘要：
yarn-site.xml yarn.nodemanager.resource.memory-mb 22528 每个节点可用内存,单位MB,默认9182MB yarn.scheduler.minimum-allocation-mb 1500 ... 阅读全文
posted @ 2016-01-01 20:42 ggzone 阅读(307) 评论(0) 推荐(0)
摘要：
使用spark访问elasticsearch的数据，前提是spark能访问hive，hive能访问es http://blog.csdn.net/ggz631047367/article/details/504458321.配置cp elasticsearch-hadoop-2.1.... 阅读全文
posted @ 2016-01-01 20:39 ggzone 阅读(3599) 评论(0) 推荐(0)
摘要：
使用spark访问elasticsearch的数据，前提是spark能访问hive，hive能访问es http://blog.csdn.net/ggz631047367/article/details/504458321.配置cp elasticsearc... 阅读全文
posted @ 2016-01-01 20:39 ggzone 阅读(226) 评论(0) 推荐(0)
摘要：
安装需要可软件sudo apt-get install python-pipsudo pip install elasticsearch;sudo apt-get install python-devsudo pip install MySQL-python导入脚本import.sh... 阅读全文
posted @ 2016-01-01 20:29 ggzone 阅读(480) 评论(0) 推荐(0)
摘要：
安装需要可软件sudo apt-get install python-pipsudo pip install elasticsearch;sudo apt-get install python-devsudo pip install MySQL-python... 阅读全文
posted @ 2016-01-01 20:29 ggzone 阅读(403) 评论(0) 推荐(0)
浙公网安备 33010602011771号