dinky0.6.6安装部署并配置flink on yarn

 

 【下载 】

http://www.dlink.top/download/dinky-0.6.6

 

 

 

上传到 node08,解压到 /opt 下,创建软链接

 

[hdfs@node08 opt]$ ln -s dlink-release-0.6.6/ dlink

 

初始化数据库(复用 node08 的 mysql)

创建 dlink 用户,并赋予相应权限

mysql -uroot -p

grant all privileges on *.* to 'dlink'@'%' identified by 'yourpassword' with grant option;

grant all privileges on *.* to 'dlink'@'localhost' identified by 'yourpassword'  with grant option;

flush privileges;

 

 

 

 

 

用 dlink 用户登录

mysql -udlink -p

create database dlink;
use dlink;
source /opt/dlink/sql/dlink.sql

 

 

 

 

修改配置文件
cd /opt/dlink/config/
vi application.yml

spring:
datasource:
url: jdbc:mysql://node08:3306/dlink?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai&allowPublicKeyRetrieval=true
username: dlink
password: yourpassword

 

 

 

 

 

创建 plugins 文件夹
cd /opt/dlink/
mkdir plugins

 

将依赖拷贝到 plugins 文件夹

 

 

 

红框中的 jar 包是若不传 flink on yarn 集群配置会报错的两个 jar 包
其中,flink-shaded-hadoop-2-uber-2.8.3-10.0.jar 中的包,
应该删掉 javax/servlet 该目录,以防冲突

 

由于我们使用的版本是 flink 1.14.4,所以修改默认lib 包中的 dlink-client 包,将 1.13版本的重命名,将 1.14 版本的从 $DLINK_HOME/extends/ 下拷贝过来

 

 

 

 

 

 

 

 

启动
[hdfs@node08 dlink]$ sh auto.sh start

登录

http://node08:8888/

默认用户名和密码

admin/admin

 

此时已可成功登录。接下来配置 flink on yarn。

 

hdfs 新建 flink 包目录
hdfs dfs -mkdir -p hdfs:///flink/lib/
将 $FLINK_HOME/lib 下的包全部上传到上述目录

新建 dlink 包目录
hdfs dfs -mkdir -p /dlink/jar
将 /opt/dlink/jar 下的 dlink-app-1.14-0.6.6-jar-with-dependencies.jar 包上传到上述目录
hdfs dfs -put dlink-app-1.14-0.6.6-jar-with-dependencies.jar hdfs:///dlink/jar/

 

 

 

 

 

 

 

 

 

 点击测试,成功即可点击完成。

 

系统配置中,配置提交 FlinkSQL 的Jar文件路径(hdfs已上传),之后点击保存即可
hdfs:///dlink/jar/dlink-app-1.14-0.6.6-jar-with-dependencies.jar

 

 

 

此时 flink on yarn 已配置完成,可进行数据开发测试!

 

测试案例:

 

 

 

 

成功正常运行!

 

本文首发地址:

https://www.cnblogs.com/penggeyuanlishe/p/16616488.html

 

转载请注明出处!

 

posted @ 2022-08-23 15:40  GavinHawk  阅读(2510)  评论(0)    收藏  举报