大数据 - 随笔分类 - lvlin241

SQL 核心与大数据开发实战：从原理到落地的体系化认知

摘要：本文目标：建立 SQL 核心能力与大数据开发场景之间的完整认知链路。一、重新理解 SQL：它不只是查询语言大多数人把 SQL 理解为"取数工具"，这是认知的第一个坑。SQL 本质上是声明式的关系代数表达，它描述的是"要什么"而非"怎么做"，底层执行计划由优化器决定。理解这一点，是写出高质量 SQ 阅读全文

posted @ 2026-03-04 15:26 lvlin241 阅读(51) 评论(0) 推荐(0)

FineBI 核心

摘要：组件计算数据处理计算字段指标条件分析数据二次计算多列排序快速计算占比排名汇总值累计值同比、环比、同期、环期同环比计算组件复用阅读全文

posted @ 2025-12-06 19:24 lvlin241

zookeeper集群启动脚本

摘要：1. 集群配置说明 192.168.1.29 hadoop1 192.168.1.28 hadoop2 192.168.1.27 hadoop3 3. 集群操作脚本(启动、停止、状态查询、异常提示) #!/bin/bash case $1 in "start"){ for i in hadoop1 阅读全文

posted @ 2025-07-06 21:54 lvlin241

flink-forward峰会

摘要：flink-forward峰会阅读全文

posted @ 2025-07-06 21:26 lvlin241

Flink高可用配置：Flink on Standalone/Yarn

摘要：阅读全文

posted @ 2022-01-03 18:37 lvlin241 阅读(69) 评论(0) 推荐(0)

Flink on yarn 本地部署摘要

摘要：说明：本地hadoop-3.1.3 、flink-1.13.5 1. 配置hadoop classpath变量 (vim ~/.bashrc 或者 vim /etc/profile) 建议也设置一下FLINK_HOME export HADOOP_CONF_DIR=${HADOOP_HOME}/et 阅读全文

posted @ 2022-01-02 19:58 lvlin241 阅读(243) 评论(0) 推荐(0)

Flink 主要集群资源管理器部署过程

摘要：本例以1.13.5版本为例1. standalone 参考 2. yarn 参考 <1> application mode <2> per-job mode <3> session mode 4. native k8s 参考5. mesos 参考阅读全文

posted @ 2022-01-02 18:35 lvlin241 阅读(63) 评论(0) 推荐(0)

Flink集群资源管理器支持

摘要：1. flink集群运行模式与集群资源管理器区别 2. native集群部署 3. 阅读全文

posted @ 2022-01-02 18:13 lvlin241 阅读(48) 评论(0) 推荐(0)

flink集群运行模式

摘要：1. session mode 共享JobManager和TaskManager，所有提交的Job都再一个Runtime中运行； 2. Per-Job mode 独享JobManager与TaskManager，即为每个Job单独启动一个Runtime； session mode 与 per-job 阅读全文

posted @ 2022-01-02 17:58 lvlin241 阅读(167) 评论(0) 推荐(0)

Hadoop 核心原理: 从理论到实战

摘要：为什么需要 Hadoop？ 2003 年，Google 发表了两篇奠基性论文：GFS（Google 文件系统）和 MapReduce。彼时 Yahoo 的工程师 Doug Cutting 正在开发 Nutch 爬虫，面临同样的困境：单机存不下单机算不完廉价机器又随时会坏大数据的核心矛盾：容量阅读全文

posted @ 2020-12-17 17:39 lvlin241 阅读(69) 评论(0) 推荐(0)

本地虚拟机搭建zookeeper集群

摘要：1. 配置说明 <1> VMare Workstation 14 Pro 下载 <1> OS CentOS-7-x86_64-DVD-1804.iso <2> jdk jdk-8u66-linux-x64.tar.gz <3> zookeeper apache-zookeeper-3.6.2-bin 阅读全文

posted @ 2020-12-11 17:43 lvlin241 阅读(204) 评论(0) 推荐(0)

flink Two-Phase Aggregation

摘要：问题背景单阶段聚合在高基数场景下会产生数据倾斜大量不同key的数据涌向同一个算子实例造成性能瓶颈和资源浪费解决思路将聚合过程分解为两个阶段，通过预聚合减少数据传输量两个阶段详解第一阶段：Local Aggregation（本地预聚合）位置：在数据源端或上游算子中执行作用：对相同ke 阅读全文

posted @ 2020-10-16 09:32 lvlin241 阅读(146) 评论(0) 推荐(0)

kafka监控组件

摘要：1. Kafka Manager 2. kafka Eagle 3. KafkaOffsetMonitor kafka监控工具阅读全文

posted @ 2020-08-27 17:26 lvlin241 阅读(151) 评论(0) 推荐(0)

Flink在态势感知流量分析中的去重技术实践

摘要：前言在网络安全态势感知系统中，流量分析是核心组成部分。面对海量的网络流量数据，如何准确统计唯一访问者、去重恶意IP、精确计算安全事件数量等，成为了系统设计的关键挑战。Apache Flink作为业界领先的流处理框架，为解决大数据量下的count唯一性问题提供了多种技术方案。本文将深入探讨Flink 阅读全文

posted @ 2020-07-13 15:52 lvlin241 阅读(1074) 评论(0) 推荐(0)

Hive

摘要：Hive 阅读全文

posted @ 2020-02-04 21:10 lvlin241 阅读(79) 评论(0) 推荐(0)

HBase

摘要：HBase 阅读全文

posted @ 2020-02-04 21:09 lvlin241 阅读(70) 评论(0) 推荐(0)

spark

摘要：spark PySpark 阅读全文

posted @ 2020-02-04 21:03 lvlin241 阅读(87) 评论(0) 推荐(0)

scala

摘要：scala 阅读全文

posted @ 2020-02-04 20:56 lvlin241 阅读(100) 评论(0) 推荐(0)

solr

摘要：solr 阅读全文

posted @ 2020-02-04 20:55 lvlin241 阅读(69) 评论(0) 推荐(0)

lvlin241

随笔分类 - 大数据