随笔分类 -  中间件kafka

消息中间件kafka
Zookeeper学习记录（二）：使用以及配置
摘要：zookeeper已经介绍了它的原理设计以及实现方式，我们接下来介绍zookeeper的使用方法以及简单配置。 下载 获取Zookeeper的发布包，从Apache下载映像中下载一个最新稳定版本。 单机操作 安装Zookeeper的单机模式非常简单。服务包含在一个单独的压缩文件中，所以安装只需要创建 阅读全文
posted @ 2017-02-17 13:31 名字可以起这么长 阅读(966) 评论(0) 推荐(0)
Zookeeper学习记录（一）：设计与实现
摘要：概述 Zookeeper是一个分布式的、开源的分布式应用协调服务。它暴露了一组简单的基础原件，分布式应用可以在这些原件之上实现更高级别的服务，如同步、配置维护、群组、和命名。它被设计成容易编程实现的，并且使用一个常见的文件系统的树型结构的数据模型。它运行在Java中，并且绑定了Java和C。 设计目 阅读全文
posted @ 2017-01-10 10:27 名字可以起这么长 阅读(540) 评论(0) 推荐(0)
Kafka的Producer以及Consumer远程调用问题
摘要：公司需要分布式的JMS，所以研究了Kafka，之前在本地都没有出现问题，但是在服务器上布Kafka的时候发现了消费者无法消费的问题。 kafka布到一台服务器上面，由于业务原因，producer和kafka放到一台服务器上面，所以producer发送消息的时候bootrstrap.servers只要 阅读全文
posted @ 2016-12-27 20:28 名字可以起这么长 阅读(8464) 评论(0) 推荐(0)
KafkaOffsetMonitor监控
摘要：介绍 KafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面，这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，你可以通过浏览当前的消费者组，并且每个Topic的所有Partition的消费情况都可以观看的一清二楚 阅读全文
posted @ 2016-12-27 19:55 名字可以起这么长 阅读(1957) 评论(2) 推荐(1)
Kafka测试
摘要：准备工作 硬件：笔记本，windows10系统4核8G内存 软件：接口测试工具，以及kafka自带测试工具 影响测试结果配置分析 Borker num.network.thread=3 用于接收并处理网络请求的线程数，默认为3。其内部实现是采用Selector模型。启动一个线程作为Acceptor来 阅读全文
posted @ 2016-12-26 14:38 名字可以起这么长 阅读(8058) 评论(1) 推荐(0)
kafka与Spring的集成
摘要：准备工作 kafka版本：kafka_2.10-0.10.1.0 spring版本：spring4.3 配置文件 pom文件配置（也可以直接下载jar包） Kafka和spring集成的支持类库，spring和kafka通信监听 1 <dependency> 2 <groupId>org.sprin 阅读全文
posted @ 2016-12-23 17:14 名字可以起这么长 阅读(57929) 评论(11) 推荐(7)
Kafka在Linux环境下搭建过程
摘要：准备工作 Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。由于我们之前的分布式系统中已经安装zookeeper服务，这里不进行zookeeper安装教程以及应用教程图解。需要注意的是：Zookeeper集群的工作是超过半数才能对外提供服务，3台中超过两台超过半数 阅读全文
posted @ 2016-12-16 16:41 名字可以起这么长 阅读(9286) 评论(1) 推荐(0)
kafka-分布式消息系统
摘要：消息中间件MessageQuene 解耦且可扩展：业务复杂度的提升带来的也是耦合度的提高，消息队列在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 冗余：有些业务在处理过程中如果失败了，数据在未 阅读全文
posted @ 2016-12-15 13:37 名字可以起这么长 阅读(5518) 评论(1) 推荐(1)