随笔分类 - 大数据
摘要:在实时数据处理领域,Apache Flink 已成为一个不可或缺的工具。它以其高吞吐量和低延迟处理能力而闻名。而在 Flink 的众多特性中,侧输出流(Side Outputs)提供了一种灵活的方式来处理复杂的数据流。本文将探讨如何在 Flink 的 Scala API 中有效使用侧输出流。 1.
阅读全文
摘要:在 Apache Flink 中实现高效的 Top N 数据处理,尤其是涉及时间窗口和多条件排序时,需要精细地控制数据流和状态管理。 普通计算TopN: 1. 定义数据源(Source) 首先,我们需要定义数据源。这可能是 Kafka 流、文件、数据库或任何其他支持的数据源。 val stream:
阅读全文
摘要:一、HBase Shell操作 1、基本操作 1)进入HBase客户端命令行 [root@bigdata1 hbase]$ bin/hbase shell 2)查看帮助命令 hbase(main):001:0> help 3)查看当前数据库中有哪些表 hbase(main):002:0> list
阅读全文
摘要:Flink中的处理函数(ProcessFunction和KeyedProcessFunction)在对于数据进行颗粒化的精确计算时使用较多,处理函数提供了一个定时服务(TimerService),可以向未来注册一个定时服务,
阅读全文

浙公网安备 33010602011771号