大数据 - 随笔分类 - lvlin241

zookeeper集群启动脚本

摘要：1. 集群配置说明 192.168.1.29 hadoop1 192.168.1.28 hadoop2 192.168.1.27 hadoop3 3. 集群操作脚本(启动、停止、状态查询、异常提示) #!/bin/bash case $1 in "start"){ for i in hadoop1 阅读全文

posted @ 2025-07-06 21:54 lvlin241

flink-forward峰会

摘要：flink-forward峰会阅读全文

posted @ 2025-07-06 21:26 lvlin241

Flink高可用配置：Flink on Standalone/Yarn

摘要：阅读全文

posted @ 2022-01-03 18:37 lvlin241 阅读(60) 评论(0) 推荐(0)

Flink on yarn 本地部署摘要

摘要：说明：本地hadoop-3.1.3 、flink-1.13.5 1. 配置hadoop classpath变量 (vim ~/.bashrc 或者 vim /etc/profile) 建议也设置一下FLINK_HOME export HADOOP_CONF_DIR=${HADOOP_HOME}/et 阅读全文

posted @ 2022-01-02 19:58 lvlin241 阅读(209) 评论(0) 推荐(0)

Flink 主要集群资源管理器部署过程

摘要：本例以1.13.5版本为例1. standalone 参考 2. yarn 参考 <1> application mode <2> per-job mode <3> session mode 4. native k8s 参考5. mesos 参考阅读全文

posted @ 2022-01-02 18:35 lvlin241 阅读(44) 评论(0) 推荐(0)

Flink集群资源管理器支持

摘要：1. flink集群运行模式与集群资源管理器区别 2. native集群部署 3. 阅读全文

posted @ 2022-01-02 18:13 lvlin241 阅读(41) 评论(0) 推荐(0)

flink集群运行模式

摘要：1. session mode 共享JobManager和TaskManager，所有提交的Job都再一个Runtime中运行； 2. Per-Job mode 独享JobManager与TaskManager，即为每个Job单独启动一个Runtime； session mode 与 per-job 阅读全文

posted @ 2022-01-02 17:58 lvlin241 阅读(153) 评论(0) 推荐(0)

hadoop

摘要：基本原理参考阅读全文

posted @ 2020-12-17 17:39 lvlin241 阅读(55) 评论(0) 推荐(0)

本地虚拟机搭建zookeeper集群

摘要：1. 配置说明 <1> VMare Workstation 14 Pro 下载 <1> OS CentOS-7-x86_64-DVD-1804.iso <2> jdk jdk-8u66-linux-x64.tar.gz <3> zookeeper apache-zookeeper-3.6.2-bin 阅读全文

posted @ 2020-12-11 17:43 lvlin241 阅读(181) 评论(0) 推荐(0)

flink Two-Phase Aggregation

摘要：问题背景单阶段聚合在高基数场景下会产生数据倾斜大量不同key的数据涌向同一个算子实例造成性能瓶颈和资源浪费解决思路将聚合过程分解为两个阶段，通过预聚合减少数据传输量两个阶段详解第一阶段：Local Aggregation（本地预聚合）位置：在数据源端或上游算子中执行作用：对相同ke 阅读全文

posted @ 2020-10-16 09:32 lvlin241 阅读(105) 评论(0) 推荐(0)

kafka监控组件

摘要：1. Kafka Manager 2. kafka Eagle 3. KafkaOffsetMonitor kafka监控工具阅读全文

posted @ 2020-08-27 17:26 lvlin241 阅读(133) 评论(0) 推荐(0)

Flink在态势感知流量分析中的去重技术实践

摘要：前言在网络安全态势感知系统中，流量分析是核心组成部分。面对海量的网络流量数据，如何准确统计唯一访问者、去重恶意IP、精确计算安全事件数量等，成为了系统设计的关键挑战。Apache Flink作为业界领先的流处理框架，为解决大数据量下的count唯一性问题提供了多种技术方案。本文将深入探讨Flink 阅读全文

posted @ 2020-07-13 15:52 lvlin241 阅读(1024) 评论(0) 推荐(0)

Hive

摘要：Hive 阅读全文

posted @ 2020-02-04 21:10 lvlin241 阅读(73) 评论(0) 推荐(0)

HBase

摘要：HBase 阅读全文

posted @ 2020-02-04 21:09 lvlin241 阅读(65) 评论(0) 推荐(0)

spark

摘要：spark PySpark 阅读全文

posted @ 2020-02-04 21:03 lvlin241 阅读(85) 评论(0) 推荐(0)

scala

摘要：scala 阅读全文

posted @ 2020-02-04 20:56 lvlin241 阅读(99) 评论(0) 推荐(0)

solr

摘要：solr 阅读全文

posted @ 2020-02-04 20:55 lvlin241 阅读(65) 评论(0) 推荐(0)

storm

摘要：storm 阅读全文

posted @ 2020-02-04 20:53 lvlin241 阅读(61) 评论(0) 推荐(0)

lvlin241

随笔分类 - 大数据