随笔分类 -  大数据

Flink时间窗口的机制解析详细的时间窗口分析
摘要：转载自博客：https://www.fintechinchina.com/cases/4824 https://www.fintechinchina.com/cases/4824 相当的经典 flink具有日志清理和日志聚合的任务，清理的数据存储带到es集群中，聚合的时候存储在mysql的数据库中 阅读全文

posted @ 2025-12-18 12:05 luzhouxiaoshuai 阅读(32) 评论(0) 推荐(0)

大数据领域MapReduce与 Flink等使用场景
摘要：转载自博客：https://blog.csdn.net/m0_62554628/article/details/151632033 1. 背景介绍1.1 目的和范围随着数据量从TB级向EB级跃迁（IDC预测2025年全球数据量将达175ZB），传统单机处理技术已无法满足需求。MapReduce作为分 阅读全文

posted @ 2025-10-26 22:27 luzhouxiaoshuai 阅读(48) 评论(0) 推荐(0)

大数据计算引擎MapReduce、Storm、Spark、Sparkstreaming、Flink到底哪家强？
摘要：自大数据的概念被提出以来，企业对于数据信息变为数据资产的诉求越来越强烈，进而在技术领域出现了很多大数据计算引擎服务，最著名、使用最广的莫过于MapReduce、Storm、Spark、Sparkstreaming、Flink了。它们都是在不同的时代背景下所产生的，又是为了解决每个阶段所不能遇到的难题 阅读全文

posted @ 2025-10-26 22:11 luzhouxiaoshuai 阅读(76) 评论(0) 推荐(0)

Spark、flink、hive、Hadoop、Yarn、Hbase、Kylin区别，用更加让人容易理解的方式来阐述（DS）
摘要：转载自博客：https://www.cnblogs.com/itqinls/p/18926253 好的！我们把 Hadoop 生态系统想象成一个现代化的大数据加工厂，用更生动的方式解释这些核心部件的区别和关系： 关键区别与场景一句话指南 阅读全文

posted @ 2025-10-26 22:03 luzhouxiaoshuai 阅读(63) 评论(0) 推荐(0)

导航