大数据系列教程（3）Flink 快速开始

目录

• • • Flink 快速开始
    • • 下载 Flink
      • 启动和停止本地集群
      • 提交 Flink 作业

Flink 快速开始

Flink 旨在以闪电般的速度处理连续的数据流。这个简短的指南将向您展示如何下载、安装和运行最新的 Flink 稳定版本。您还将运行一个示例 Flink 作业并在 Web UI 中查看它。

下载 Flink

Flink 可以在所有类 UNIX 环境中运行，即 Linux、Mac OS X 和 Cygwin（适用于 Windows）。您需要安装Java 8 或 11。要检查安装的 Java 版本，请在终端中输入：

$ java -version
$ wget https://archive.apache.org/dist/flink/flink-1.14.4/flink-1.14.4-bin-scala_2.12.tgz
$ tar -zxzf flink-*.tgz

启动和停止本地集群

要启动本地集群，请运行 Flink 附带的 bash 脚本：

$ ./bin/start-cluster.sh

Flink 现在作为后台进程运行。您可以使用以下命令检查其状态：

$ ps aux | grep flink

您应该能够导航到localhost:8081的 Web UI以查看 Flink 仪表板并看到集群已启动并正在运行。

要快速停止集群和所有正在运行的组件，您可以使用提供的脚本：

$ ./bin/stop-cluster.sh

提交 Flink 作业

Flink 提供了一个 CLI 工具bin/flink，它可以运行打包为 Java ARchives (JAR) 的程序并控制它们的执行。提交作业是指将作业的 JAR 文件和相关依赖上传到正在运行的 Flink 集群并执行。

Flink 版本附带示例作业，您可以在**示例/**文件夹中找到这些示例作业。

要将示例字数统计作业部署到正在运行的集群，请发出以下命令：

$ ./bin/flink run examples/streaming/WordCount.jar

您可以通过查看日志来验证输出：

$ tail log/flink-*-taskexecutor-*.out

样本输出：

  (nymph,1)
  (in,3)
  (thy,1)
  (orisons,1)
  (be,4)
  (all,2)
  (my,1)
  (sins,1)
  (remember,1)
  (d,4)

此外，您可以查看 Flink 的Web UI来监控集群的状态和正在运行的作业。

任务管理器可以查看日志。