摘要: 应用程序使用KafkaConsumer向Kafka订阅主题,并从订阅的主题上接受消息。 消费者和消费者群组 消费者对象用于订阅主题并接收消息,然后验证消息并保存结果。 Kafka消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题,每个消费者接收主题一部分分区的消息。 如果一个消费者群组里的 阅读全文
posted @ 2019-09-01 23:27 MicroCat 阅读(314) 评论(0) 推荐(0) 编辑
摘要: 一个应用程序在很多情况下需要往Kafka写入消息:记录用户的活动(用于审计和分析),记录度量指标,保存日志消息,记录智能家电的信息,与其他应用程序进行异步通信,缓冲即将写入到数据库的数据,等等。 多样的使用场景意味着多样的需求:是否每个消息都很重要?是否允许丢失一小部分消息?偶尔出现重复消息是否可以 阅读全文
posted @ 2019-08-30 00:08 MicroCat 阅读(260) 评论(0) 推荐(0) 编辑
摘要: 前言 数据为企业的发展提供动力。我们从数据中获取信息,对他们进行分析处理,然后生成更多的数据。每个应用程序都会产生数据,包括日志消息,度量指标,用户活动记录,响应消息等。数据的点点滴滴都在暗示一些重要的事情,比如下一步行动的方向。我们把数据从源头移动到可以对它们进行分析处理的地方,然后把得到的结果应 阅读全文
posted @ 2019-08-28 00:03 MicroCat 阅读(241) 评论(0) 推荐(0) 编辑
摘要: Kafka的诞生 Kafka最初是LinkedIn的一个内部基础设施系统。我们发现,虽然有很多数据库和系统可以用来存储数据,但在我们的架构里,刚好缺一个可以帮助处理持续数据流的组件。 我们希望能够把数据看成是持续变化和不断增长的流,并给予这样的想法构建出一个数据系统,事实上,是一个数据架构。 Kaf 阅读全文
posted @ 2019-08-27 21:07 MicroCat 阅读(372) 评论(0) 推荐(0) 编辑
摘要: 参考 前言 工具 wireshark IP 发送方IP: 150.236.224.39 服务IP: 10.210.164.20 消息 Http,Https消息使用org.apache.http.client.HttpClient发送,发送的消息请求是登录某服务. HTTP 数据包 设置过滤规则htt 阅读全文
posted @ 2019-07-24 17:26 MicroCat 阅读(358) 评论(0) 推荐(0) 编辑
摘要: 前言 在翻阅ConcurrentLinkedQueue的代码的时候,发现这样一段代码在JDK源码中总是出现。 t != (t = tail) 原先总是以为这不就是 t != t ?很是纳闷,遂Demo了一下发现并不是我想象中的那样.. Demo 在运算符优先级当中寻找答案好像是找不出什么答案了,至少 阅读全文
posted @ 2019-07-07 21:33 MicroCat 阅读(245) 评论(0) 推荐(0) 编辑
摘要: ConcurrentLinkedQueue 参考 https://www.cnblogs.com/leesf456/p/5539142.html ConcurerntLinkedQueue一个基于链接节点的无界线程安全队列。 此队列按照 FIFO(先进先出)原则对元素进行排序。队列的头部是队列中时间 阅读全文
posted @ 2019-07-07 00:30 MicroCat 阅读(350) 评论(0) 推荐(0) 编辑
摘要: 参考 https://blog.csdn.net/yyjava/article/details/81453748 关闭一些Idea默认设置,否则懵逼到爆炸.. 1.关闭集合类视图 2.关闭watch视窗默认调用toString(真的很懵逼!!) 阅读全文
posted @ 2019-07-06 23:10 MicroCat 阅读(881) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-06-28 14:02 MicroCat 阅读(218) 评论(0) 推荐(0) 编辑
摘要: 参考 https://www.cnblogs.com/cici20166/p/9426417.html 启动zookeeper 只需要保证有可用的zookeeper,可以使用kafka内置的,也可以自己额外安装. 启动Kafka内置的zookeeper 启动自己安装的zookeeper C:\Use 阅读全文
posted @ 2019-06-12 17:16 MicroCat 阅读(1832) 评论(0) 推荐(0) 编辑