itxiaoshen博客

摘要： Apache Kafka是一个开源的分布式事件流平台，使用Scala和Java混合编写，Kafka最初由Linkedin公司开发，2011年贡献给了Apache基金会并成为顶级开源项目。消息队列就是用于数据生产方和消费方解耦合的中间件。顾名思义，主体就是一个队列的形式收集消息，数据在消费端按照FIFO的原则被消费。近几天连续学习两个Apache的开源项目，今天我们又来学习另外一个Apache顶级开源项目Kafka，可以见得Apache在开源世界的绝对大佬地位。Kafka是一个基于Zookeeper协调的支持分区（partition）、多副本（replica）的分布式消息系统，最大特性是可以实时处理大量数据以满足各种需求场景，常用于大数据场景消息流中间件；其他消息队列有ActiveMQ、RabbitMQ、ZeroMQ、MetaMQ、RocketMQ，目前比较主流消息中间件是Kafka、RocketMQ和RabbitMQ。 阅读全文