摘要: 通过cloudera manager 5.x添加spark服务,在创建服务过程中,发现spark服务创建失败,可以通过控制台错误输出看到如下日志信息: + perl -pi -e 's#{{CMF_CONF_DIR}}#/etc/spark/conf.cloudera.spark_on_yarn/y 阅读全文
posted @ 2018-07-11 15:51 highyeyeye 阅读(1249) 评论(0) 推荐(0) 编辑
摘要: 1、Azkaban安装部署 azkaban-web-server-2.5.0.tar.gz azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz 2、安装 将安装文件上传到集群,最好上传到安装 spark,hive、 阅读全文
posted @ 2018-04-18 17:13 highyeyeye 阅读(176) 评论(0) 推荐(0) 编辑
摘要: 创建SSL配置(123456) keytool -keystore keystore -alias jetty -genkey -keyalg RSA 运行此命令后,会提示输入当前生成 keystor的密码及相应信息,输入的密码请劳记,信息如下: 输入keystore密码: 再次输入新密码: 您的名 阅读全文
posted @ 2018-04-18 16:32 highyeyeye 阅读(530) 评论(0) 推荐(0) 编辑
摘要: 1 确保安装了同一版本的mysql-server, mysql-client, mysql-shared;2 如果还提示找不到libmysqlclient.so.16 ,使用下面定位so位置并建立软链接; >whereis libmysqlclient.so.16 >ldd /usr/bin/mys 阅读全文
posted @ 2018-04-13 21:45 highyeyeye 阅读(1585) 评论(0) 推荐(0) 编辑
摘要: 安装时,遇到的最大的坑,就是mysql数据库驱动包的问题,将驱动包拷贝到安装oozie服务的机器上的/var/lib/oozie 目录下,即可! 阅读全文
posted @ 2018-04-13 21:25 highyeyeye 阅读(181) 评论(0) 推荐(0) 编辑
摘要: (一)安装前的规划 (1)操作系统版本:centos7.4(64bit) [root@hadoop22 etc]# more /etc/centos-release CentOS Linux release 7.4.1708 (Core) [root@hadoop22 installPackage] 阅读全文
posted @ 2018-04-13 20:32 highyeyeye 阅读(1774) 评论(0) 推荐(0) 编辑
摘要: 在平时 我们在操作hadoop命令的时候 会误删除某些文件 利用 hadoop fs -rmr(目录名)删除目录时易出现误删除的操作 为了防止这种情况我们需要打开回收站 具体操作为: 找到配置文件core-site.xml,在其中添加如下信息: <property> <name>fs.trash.i 阅读全文
posted @ 2018-03-29 16:03 highyeyeye 阅读(1523) 评论(0) 推荐(1) 编辑