Kafka - 随笔分类 - AiFly

Apache-Flink中的Java泛型与Lambda表达式

摘要：在使用Java编写apache-flink程序的时候相信很多新手都遇到下面这样的异常； org.apache.flink.api.common.functions.InvalidTypesException: The return type of function 'main(DemoApp.jav 阅读全文

posted @ 2020-08-24 08:12 AiFly 阅读(2045) 评论(0) 推荐(0)

Spark Streaming数据限流简述

摘要： Spark Streaming对实时数据流进行分析处理，源源不断的从数据源接收数据切割成一个个时间间隔进行处理；流处理与批处理有明显区别，批处理中的数据有明显的边界、数据规模已知；而流处理数据流并没有边界，也未知数据规模；阅读全文

posted @ 2020-01-19 20:30 AiFly 阅读(1119) 评论(0) 推荐(0)

从KafkaConsumer看看Kafka（一）

摘要： Kafka的消息模型为发布订阅模型，消息生产者将消息发布到主题（topic）中，一个或多个消费者订阅（消费）该主题消息并消费，此模型中发布到topic中的消息会被所有消费者所订阅到，先介绍Kafka消费模型，然后再通过KafkaConsumer原来了解它的业务流程，源码基于k 阅读全文

posted @ 2019-10-19 23:04 AiFly 阅读(541) 评论(0) 推荐(0)

Kafka监控工具kafka-monitor v0.1简要介绍

摘要：Kafka Monitor 为Kafka的可视化管理与监控工具，为Kafka的稳定运维提供高效、可靠、稳定的保障，这里主要简单介绍Kafka Monitor的相关功能与页面的介绍； Kafka Monitor v0.1 主要功能有： Kafka基本信息仪表盘、broker列表、topic列表、当前消阅读全文

posted @ 2018-02-22 18:43 AiFly 阅读(1587) 评论(0) 推荐(0)

Kafka中时间轮分析与Java实现

摘要：在Kafka中应用了大量的延迟操作但在Kafka中并没用使用JDK自带的Timer或是DelayQueue用于延迟操作，而是使用自己开发的DelayedOperationPurgatory组件用于管理延迟操作，Kafka这类分布式框架有大量延迟操作并且对性能要求及其高，而java.util.T 阅读全文

posted @ 2017-08-25 07:46 AiFly 阅读(1813) 评论(0) 推荐(0)

随笔分类 - Kafka