随笔分类 -  livy

livy安装与部属
摘要：学一个东西，首先看它的官网 http://livy.incubator.apache.org/ Livy支持从Web /移动应用程序提供程序化，容错，多租户提交Spark作业（无需Spark客户端）。因此，多个用户可以同时可靠地与您的Spark集群进行交互。 我们实际环境主要为hue和griffin 阅读全文
posted @ 2019-08-23 16:33 bioamin 阅读(3878) 评论(0) 推荐(0)
hue通过livy提交spark jar包python文件到spark
摘要：背景：集群中有hive、spark2，没有impala 需求：通过hue访问hive以及提交spark任务 现状：hue以及通过sentry实现了对hive的权限管理 CDH5.15.1 centos7.4 livy-0.5.0-incubating-bin 目标：hue实现scala、pyspar 阅读全文
posted @ 2019-04-30 10:54 bioamin 阅读(1831) 评论(0) 推荐(0)