随笔分类 -  Flink

1 2 下一页
Flink
Flink DataStream API 编程模型
摘要：Flink系列文章 第01讲：Flink 的应用场景和架构模型 第02讲：Flink 入门程序 WordCount 和 SQL 实现 第03讲：Flink 的编程模型与其他框架比较 第04讲：Flink 常用的 DataSet 和 DataStream API 第05讲：Flink SQL & Ta 阅读全文
posted @ 2024-01-18 16:29 大数据技术派 阅读(659) 评论(0) 推荐(0)
Flink异步IO
摘要：本文讲解 Flink 用于访问外部数据存储的异步 I/O API。 对于不熟悉异步或者事件驱动编程的用户，建议先储备一些关于 Future 和事件驱动编程的知识。 对于异步 I/O 操作的需求 在与外部系统交互（用数据库中的数据扩充流数据）的时候，需要考虑与外部系统的通信延迟对整个流处理应用的影响。 阅读全文
posted @ 2024-01-16 14:01 大数据技术派 阅读(1005) 评论(0) 推荐(0)
Flink SQL管理平台flink-streaming-platform-web安装搭建
摘要：文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 最近看到有人在用flink sql的页面管理平台，大致看了下，尝试安装使用，比原生的flink sql界面确实好用多了，我们看下原生的，通过bin/sql-client.sh命令进入那个黑框，一只松鼠，对，就 阅读全文
posted @ 2022-12-02 09:57 大数据技术派 阅读(1653) 评论(0) 推荐(3)
Flink同步Kafka数据到ClickHouse分布式表
摘要：公众号文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse。 什么是ClickHouse？ ClickHouse是一个用于联机分析(OLAP 阅读全文
posted @ 2022-12-01 09:43 大数据技术派 阅读(1557) 评论(0) 推荐(0)
flink-cdc同步mysql数据到hive
摘要：什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 1. 环境准 阅读全文
posted @ 2022-09-16 14:15 大数据技术派 阅读(2345) 评论(0) 推荐(0)
flink-cdc同步mysql数据到hbase
摘要：本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到 阅读全文
posted @ 2022-09-15 23:18 大数据技术派 阅读(967) 评论(0) 推荐(1)
flink-cdc同步mysql数据到kafka
摘要：本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到 阅读全文
posted @ 2022-09-14 17:41 大数据技术派 阅读(6108) 评论(0) 推荐(1)
flink-cdc实时同步mysql数据到elasticsearch
摘要：本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到 阅读全文
posted @ 2022-09-13 17:50 大数据技术派 阅读(2762) 评论(0) 推荐(0)
第10讲：Flink Side OutPut 分流
摘要：Flink系列文章 第01讲：Flink 的应用场景和架构模型 第02讲：Flink 入门程序 WordCount 和 SQL 实现 第03讲：Flink 的编程模型与其他框架比较 第04讲：Flink 常用的 DataSet 和 DataStream API 第05讲：Flink SQL & Ta 阅读全文
posted @ 2022-02-12 10:05 大数据技术派 阅读(603) 评论(0) 推荐(1)
第08讲：Flink 窗口、时间和水印
摘要：Flink系列文章 第01讲：Flink 的应用场景和架构模型 第02讲：Flink 入门程序 WordCount 和 SQL 实现 第03讲：Flink 的编程模型与其他框架比较 第04讲：Flink 常用的 DataSet 和 DataStream API 第05讲：Flink SQL & Ta 阅读全文
posted @ 2022-01-31 11:02 大数据技术派 阅读(578) 评论(0) 推荐(1)
第07讲：Flink 常见核心概念分析
摘要：在 Flink 这个框架中，有很多独有的概念，比如分布式缓存、重启策略、并行度等，这些概念是我们在进行任务开发和调优时必须了解的，这一课时我将会从原理和应用场景分别介绍这些概念。 分布式缓存 熟悉 Hadoop 的你应该知道，分布式缓存最初的思想诞生于 Hadoop 框架，Hadoop 会将一些数据 阅读全文
posted @ 2022-01-29 10:30 大数据技术派 阅读(307) 评论(0) 推荐(2)
第06讲：Flink 集群安装部署和 HA 配置
摘要：我们在这一课时将讲解 Flink 常见的部署模式：本地模式、Standalone 模式和 Flink On Yarn 模式，然后分别讲解三种模式的使用场景和部署中常见的问题，最后将讲解在生产环境中 Flink 集群的高可用配置。 Flink 常见的部署模式 环境准备 在绝大多数情况下，我们的 Fli 阅读全文
posted @ 2022-01-27 09:47 大数据技术派 阅读(1067) 评论(0) 推荐(1)
第05讲：Flink SQL & Table 编程和案例
摘要：Flink系列文章 第01讲：Flink 的应用场景和架构模型 第02讲：Flink 入门程序 WordCount 和 SQL 实现 第03讲：Flink 的编程模型与其他框架比较 第04讲：Flink 常用的 DataSet 和 DataStream API 第05讲：Flink SQL & Ta 阅读全文
posted @ 2022-01-26 13:05 大数据技术派 阅读(932) 评论(0) 推荐(1)
第04讲：Flink 常用的 DataSet 和 DataStream API
摘要：Flink系列文章 第01讲：Flink 的应用场景和架构模型 第02讲：Flink 入门程序 WordCount 和 SQL 实现 第03讲：Flink 的编程模型与其他框架比较 第04讲：Flink 常用的 DataSet 和 DataStream API 本课时我们主要介绍 Flink 的 D 阅读全文
posted @ 2022-01-25 21:51 大数据技术派 阅读(1385) 评论(0) 推荐(2)
第03讲：Flink 的编程模型与其他框架比较
摘要：Flink系列文章 第01讲：Flink 的应用场景和架构模型 第02讲：Flink 入门程序 WordCount 和 SQL 实现 第03讲：Flink 的编程模型与其他框架比较 本课时我们主要介绍 Flink 的编程模型与其他框架比较。 本课时的内容主要介绍基于 Flink 的编程模型，包括 F 阅读全文
posted @ 2022-01-24 23:35 大数据技术派 阅读(339) 评论(0) 推荐(2)
第02讲：Flink 入门程序 WordCount 和 SQL 实现
摘要：关注公众号：大数据技术派，回复资料，领取1024G资料。 Flink系列文章 第01讲：Flink 的应用场景和架构模型 第02讲：Flink 入门程序 WordCount 和 SQL 实现 第03讲：Flink 的编程模型与其他框架比较 我们右键运行时相当于在本地启动了一个单机版本。生产中都是集群 阅读全文
posted @ 2022-01-22 12:45 大数据技术派 阅读(786) 评论(0) 推荐(1)
第01讲：Flink 的应用场景和架构模型
摘要：Flink系列文章 第01讲：Flink 的应用场景和架构模型 第02讲：Flink 入门程序 WordCount 和 SQL 实现 第03讲：Flink 的编程模型与其他框架比较 你好，欢迎来到第 01 课时，本课时我们主要介绍 Flink 的应用场景和架构模型。 实时计算最好的时代 在过去的十年 阅读全文
posted @ 2022-01-21 21:39 大数据技术派 阅读(880) 评论(1) 推荐(1)
Flink Exactly-once 实现原理解析
摘要：关注公众号：大数据技术派，回复"资料"，领取1024G资料。 这一课时我们将讲解 Flink “精确一次”的语义实现原理，同时这也是面试的必考点。 Flink 的“精确一次”处理语义是，Flink 提供了一个强大的语义保证，也就是说在任何情况下都能保证数据对应用产生的效果只有一次，不会多也不会少。 阅读全文
posted @ 2021-12-12 21:43 大数据技术派 阅读(1908) 评论(0) 推荐(0)
Flink 是如何统一批流引擎的
摘要：关注公众号：大数据技术派，回复“资料”，领取1000G资料。 本文首发于我的个人博客：Flink 是如何统一批流引擎的 2015 年，Flink 的作者就写了 Apache Flink: Stream and Batch Processing in a Single Engine 这篇论文。本文以这 阅读全文
posted @ 2021-11-29 10:28 大数据技术派 阅读(371) 评论(0) 推荐(0)
Flink计算pv和uv的通用方法
摘要：Flink系列文章 第01讲：Flink 的应用场景和架构模型 第02讲：Flink 入门程序 WordCount 和 SQL 实现 第03讲：Flink 的编程模型与其他框架比较 第04讲：Flink 常用的 DataSet 和 DataStream API 第05讲：Flink SQL & Ta 阅读全文
posted @ 2021-11-01 13:32 大数据技术派 阅读(2810) 评论(2) 推荐(2)

1 2 下一页