文章分类 -  Kafka

伪分布式集群、Linux 查看历史命令
摘要：伪分布式集群 Linux 查看历史命令 history Linux查看进程运行的状态 top 也能查看集群资源 为了节省计算机的资源，我们将之前分布式的集群，改为伪分布式 伪分布式：即在一个节点上做分布式，可以节省资源 拍摄快照 在改伪分布式之前可以给我们的集群拍个快照，方便之后如果想要用回分布式集 阅读全文
posted @ 2022-04-03 16:11 赤兔胭脂小吕布 阅读(77) 评论(0) 推荐(0)
Flink 整合 Kafka 之 电信案例 SQL 版、Flink SQL 开启 checkpoint
摘要：Flink 整合 Kafka 之 电信案例 SQL 版 Flink 整合 Kafka 之 电信案例 package com.shujia.flink.dx import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment i 阅读全文
posted @ 2022-03-26 16:09 赤兔胭脂小吕布 阅读(984) 评论(2) 推荐(0)
Flink Connectors、假如遇到报错显示不能使用该字段名、Flink 处理 json 数据、解决maven项目依赖包冲突的问题
摘要：Flink Connectors 通过 Flink SQL 读 Kafka 写 MySQL package com.shujia.flink.table //只写SQL的情况下 //这边就不需要将最后面的改为 _ 了 //若是涉及到算子的时候需要改 import org.apache.flink.s 阅读全文
posted @ 2022-03-26 11:23 赤兔胭脂小吕布 阅读(495) 评论(0) 推荐(0)
Flink 整合 Kafka 之 电信案例
摘要：Flink 整合 Kafka 之 电信案例 数据 //手机号(通过md5加密的)--脱敏，网格编号，城市编号，区县编号，停留时间，进入时间，离开时间，…… D55433A437AEC8D8D3DB2BCA56E9E64392A9D93C,117210031795040,83401,8340104,3 阅读全文
posted @ 2022-03-23 15:07 赤兔胭脂小吕布 阅读(133) 评论(0) 推荐(0)
Kafka 集群架构图、通过 java(Scala) 来读写 Kafka
摘要：Kafka 集群架构图 通过 java(Scala) 来读写 Kafka 导入依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>1.0.0</version 阅读全文
posted @ 2022-03-23 11:11 赤兔胭脂小吕布 阅读(128) 评论(0) 推荐(1)
Flink 消费 Kafka 中的数据
摘要：Flink 消费 Kafka 中的数据 在官网的 Connectors 中有 Kafka 1、导入依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactI 阅读全文
posted @ 2022-03-23 00:19 赤兔胭脂小吕布 阅读(357) 评论(0) 推荐(0)
Kafka 的搭建、验证Kafka是否安装成功(Kafka基本操作)
摘要：Kafka 的搭建 Kafka : 去中心化架构 1、上传、解压、配置环境变量 上传压缩包到任意节点(这里选择master) cd /usr/local/module tar -zxvf /usr/local/module/kafka_2.11-1.0.0.tgz -C /usr/local/sof 阅读全文
posted @ 2022-03-22 23:53 赤兔胭脂小吕布 阅读(4357) 评论(0) 推荐(0)
Kafka 简介、非0拷贝和0拷贝、实时计算和离线计算的流程
摘要：Kafka 简介 实时计算的数据源 存储实时数据的工具 由Scala语言编写 去中心化架构 kafka是一个高吞吐的分布式消息系统 Apache kafka is publish-subscribe messaging rethought as a distributed commit log Ka 阅读全文
posted @ 2022-03-22 21:41 赤兔胭脂小吕布 阅读(285) 评论(0) 推荐(0)