我的月亮

摘要： 云服务 子系统：后台管理系统、Restfu服务系统、Dubbo服务/管控/监控中心 Zookeeper注册中心、报表分析系统、日志记录系统、定时调度系统 搜索引擎系统、分布式文件系统、消息系统、SSO单点登录系统 SOA管控平台、UI组件系统、OA办公系统、CMS新闻发布系统 支付系统、数据库配置系统、工作流系统、云服务平台 分布式 分布式服务：Dubbo+Zookeeper+Proxy+Restful 分布式消息中间件：KafKa+Flume+Zookeeper 分布式缓存：Redis 分布式文件：FastDFS 负载均衡：Keepalived+Nginx+Proxy(三重负载) 阅读全文

摘要： Kafka的设计： 1、吞吐量 高吞吐是kafka需要实现的核心目标之一，为此kafka做了以下一些设计： 数据磁盘持久化：消息不在内存中cache，直接写入到磁盘，充分利用磁盘的顺序读写性能 zero-copy：减少IO操作步骤 数据批量发送 数据压缩 Topic划分为多个partition，提高parallelism 负载均衡 producer根据用户指定的算法，将消息发送到指定的partition 存在多个partiiton，每个partition有自己的replica，每个replica分布在不同的Broker节点上 多个partition需要选取出lead partition，lead partition负责读写，并由zookeeper负责fail over 通过zookeeper管理broker与consumer的动态加入与离开 拉取系统 由于kafka broker会持久化数据，broker没有内存压力，因此，consumer非常适合采取pull的方式消费数据，具有以下几点好处： 简化kafka设计 consumer 阅读全文

摘要： 介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？ 首先让我们看几个基本的消息系统术语： Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumer. Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker. java企业架构 spring mvc +mybatis + KafKa+Flume+Zookeeper 分布式消息中间件：spring mvc +mybatis + KafKa+Flume+Zookeeper 阅读全文