livy安装与部属

学一个东西,首先看它的官网

http://livy.incubator.apache.org/

Livy支持从Web /移动应用程序提供程序化,容错,多租户提交Spark作业(无需Spark客户端)。因此,多个用户可以同时可靠地与您的Spark集群进行交互。

 

我们实际环境主要为hue和griffin提交spark任务。因为hue为多租户模式,所以需要通过hdfs用户部署启动livy,我也不知道为什么,emm

官方快速安装文档如下:

http://livy.incubator.apache.org/get-started/

在实际配置中的环境参数如下:

环境:redhat7.3  CDH5.15.1   hdfs用户安装  spark2.3基于yarn模式

CDH5.15.1中spark2.3的安装目录和Hadoop目录如下

HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809/lib/spark2

 

一、解压livy
cd  /cslc/dip001/
unzip xxx.zip
cd  $LIVY_HOME
mkdir log
mkdir tmp        
cd conf/

cp livy-env.sh.template livy-env.sh
cp spark-blacklist.conf.template spark-blacklist.conf
cp livy.conf.template livy.conf
二、修改配置文件
vim livy.conf

livy.spark.master = yarn
livy.spark.deploy-mode = cluster
livy.environment = production    
livy.impersonation.enabled = true
livy.server.port = 8998
livy.server.session.timeout = 3600000
livy.server.recovery.mode = recovery
livy.server.recovery.state-store=filesystem
livy.server.recovery.state-store.url=/cslc/dip001/livy-0.5.0-incubating-bin/tmp


vim livy-env.sh

export JAVA_HOME=/opt/cslc/jdk1.8.0_151
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export SPARK_CONF_DIR=/etc/spark2/conf
export SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809/lib/spark2
export HADOOP_CONF_DIR=/etc/hadoop/conf
export LIVY_LOG_DIR=/cslc/dip001/livy-0.5.0-incubating-bin/log
export LIVY_SERVER_JAVA_OPTS="-Xmx2g"
三、启动:
使用hdfs用户启动 :
/opt/cloudera/livy-0.5.0-incubating-bin/bin/livy-server start

 

posted @ 2019-08-23 16:33  bioamin  阅读(3127)  评论(0编辑  收藏  举报