田野与天

2023年6月6日

摘要：在Flink中，广播流（Broadcast Stream）是一种特殊的数据流类型，用于将一个数据流广播到所有并行任务中，以供每个任务共享和使用。广播流通常用于将静态数据（如维表数据）发送给所有任务，以便任务可以在本地缓存该数据，避免多次访问外部存储系统。广播流的特点如下： - 广播流只有一个并行度阅读全文

posted @ 2023-06-06 11:35 田野与天阅读(2154) 评论(0) 推荐(0)

使用Redis作为维表输入的Flink示例代码

摘要：下面是一个使用Redis作为维表输入的Flink示例代码： ```java import org.apache.flink.api.common.functions.RichFlatMapFunction; import org.apache.flink.api.common.state.MapSt 阅读全文

posted @ 2023-06-06 11:35 田野与天阅读(323) 评论(0) 推荐(0)

flink源码分析之启动过程分析

摘要：今天阅读了一下flink v1.14的代码，首先分析一下flink启动的过程。首先分2种，一种是SessionClusterEntrypoint，一种是JobClusterEntrypoint。分别对应session 模式和per-job模式。 session模式就是一次启动，可以执行多个job，阅读全文

posted @ 2023-06-06 09:34 田野与天阅读(353) 评论(0) 推荐(0)

2023年6月2日

SeaTunnel V2.3.1源码分析--zeta引擎启动过程分析

摘要：今天主要看SeaTunnel自研的数据同步引擎，叫Zeta。首先，如果使用的是zeta引擎，那么第一步一定是运行bin/seatunnel-cluster.sh脚本，这个脚本就是启动zeta的服务端的。打开seatunnel-cluster.sh看看，可以看到其实是去启动seatunnel-co 阅读全文

posted @ 2023-06-02 12:26 田野与天阅读(2395) 评论(1) 推荐(0)

Hazelcast的ManagedService接口类执行顺序

摘要：在Hazelcast中，`ManagedService`接口中定义的方法的执行顺序如下： 1. `init(NodeEngine nodeEngine, Properties properties)`: 此方法在服务初始化时调用，允许你执行一些初始化逻辑或设置。 2. `reset()`: 此方法在阅读全文

posted @ 2023-06-02 12:25 田野与天阅读(66) 评论(0) 推荐(0)

hazelcast的NodeExtension接口类所有定义的方法分析

摘要：在Hazelcast中，`NodeExtension`接口是一个扩展点，用于自定义和定制节点级别的行为。它定义了以下方法： 1. `void beforeStart(Node node, Properties properties)` 此方法在节点启动之前调用。它允许你在节点启动之前执行一些自定义逻阅读全文

posted @ 2023-06-02 11:52 田野与天阅读(205) 评论(0) 推荐(0)

2023年6月1日

Hazelcast分布式计算的demo

摘要：下面是一个使用Java实现的Hazelcast分布式计算的示例代码： ```java import com.hazelcast.core.Hazelcast; import com.hazelcast.core.HazelcastInstance; import com.hazelcast.core 阅读全文

posted @ 2023-06-01 20:52 田野与天阅读(393) 评论(0) 推荐(0)

2023年5月30日

Jenkins使用实践

摘要： Jenkins 是一个开源的持续集成和持续交付工具，可帮助开发团队自动化构建、测试和部署应用程序。它提供了丰富的插件生态系统，可支持各种编程语言和开发工具。下面是一个使用 Java 代码实现 Jenkins 的入门示例： 1. 安装 Jenkins： - 从 Jenkins 官方网站（https:/ 阅读全文

posted @ 2023-05-30 19:36 田野与天阅读(76) 评论(0) 推荐(0)

Swarm使用实践

摘要： Docker Swarm 是 Docker 官方提供的原生容器编排和管理工具，用于管理和扩展 Docker 容器集群。它允许您将多个 Docker 主机组成一个虚拟的 Docker 引擎，以便您可以在集群中调度和管理容器。下面是一个使用 Java 代码实现 Docker Swarm 的入门示例：阅读全文

posted @ 2023-05-30 19:36 田野与天阅读(67) 评论(0) 推荐(0)

ELK使用实践

摘要： ELK（Elasticsearch, Logstash, Kibana）是一套用于日志管理和分析的开源解决方案。它由以下三个核心组件组成： 1. Elasticsearch：Elasticsearch是一个分布式、实时的搜索和分析引擎。它使用倒排索引来快速存储、搜索和分析大量的数据。Elastics 阅读全文

posted @ 2023-05-30 19:36 田野与天阅读(185) 评论(0) 推荐(0)

公告