seatunnel-安装与简单使用

一、下载seatunnel

1、安装java依赖

检测是否已经安装java：

rpm -qa|grep java

 安装java：

yum -y install java-11-openjdk

设置java变量：

[root@zb-yunweitest-mysql-204-200 jvm]# cd /usr/lib/jvm
[root@zb-yunweitest-mysql-204-200 jvm]# ls
java-11-openjdk-11.0.23.0.9-2.el7_9.x86_64 jre jre-11 jre-11-openjdk jre-11-openjdk-11.0.23.0.9-2.el7_9.x86_64 jre-openjdk

cat /etc/profile

#set java environment
JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.23.0.9-2.el7_9.x86_64
JRE_HOME=$JAVA_HOME
CLASS_PATH=.:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

2、下载Sea Tunnel

进入下载页（https://seatunnel.apache.org/download/ ），下载最新版本seatunnel-[version]-bin.tar.gz，详细说明请看主页。

快速下载，关注公众号：飞桨PPDB，回复st,获取百度网盘下载链接。

或者直接通过在终端中执行命令，以2.3.2版本为例，其它版本文件命名可能略有差异，请自行调整：

export version="2.3.2"

wget "https://dlcdn.apache.org/seatunnel/${version}/apache-seatunnel-${version}-bin.tar.gz" --no-check-certificate

 3、解压缩

 

 

二、seatunnel配置与使用

1、选择需要的安装连接器插件

只保留如下连接器做测试

 vim config/plugin_config

--connectors-v2--
connector-fake
connector-console
connector-cdc-mysql
--end--

 

2、下载连接器

sh bin/install-plugin.sh 

#下载速度非常慢

3、用Config文件定义一个任务

 

[root@zb-yunweitest-mysql-204-200 clientconfig]# vim test_one.config
env {
execution.parallelism = 1
job.mode = "BATCH"
}

source {
FakeSource {
result_table_name = "fake"
row.num = 16
schema = {
fields {
name = "string"
age = "int"
}
}
}
}

transform {
FieldMapper {
source_table_name = "fake"
result_table_name = "fake1"
field_mapper = {
age = age
name = new_name
}
}
}

sink {
Console {
source_table_name = "fake1"
}
}

4、运行任务

 sh bin/seatunnel.sh --config ./clientconfig/test_one.config -e local 

开始：

 中间：

 

结果：