摘要：
云服务
子系统：后台管理系统、Restfu服务系统、Dubbo服务/管控/监控中心
Zookeeper注册中心、报表分析系统、日志记录系统、定时调度系统
搜索引擎系统、分布式文件系统、消息系统、SSO单点登录系统
SOA管控平台、UI组件系统、OA办公系统、CMS新闻发布系统
支付系统、数据库配置系统、工作流系统、云服务平台
分布式
分布式服务：Dubbo+Zookeeper+Proxy+Restful
分布式消息中间件：KafKa+Flume+Zookeeper
分布式缓存：Redis 分布式文件：FastDFS
负载均衡：Keepalived+Nginx+Proxy(三重负载) 阅读全文
posted @ 2017-05-19 13:02
我的月亮
阅读(184)
评论(0)
推荐(0)
摘要：
Kafka的设计：
1、吞吐量
高吞吐是kafka需要实现的核心目标之一，为此kafka做了以下一些设计：
数据磁盘持久化：消息不在内存中cache，直接写入到磁盘，充分利用磁盘的顺序读写性能
zero-copy：减少IO操作步骤
数据批量发送
数据压缩
Topic划分为多个partition，提高parallelism
负载均衡
producer根据用户指定的算法，将消息发送到指定的partition
存在多个partiiton，每个partition有自己的replica，每个replica分布在不同的Broker节点上
多个partition需要选取出lead partition，lead partition负责读写，并由zookeeper负责fail over
通过zookeeper管理broker与consumer的动态加入与离开
拉取系统
由于kafka broker会持久化数据，broker没有内存压力，因此，consumer非常适合采取pull的方式消费数据，具有以下几点好处：
简化kafka设计
consumer 阅读全文
posted @ 2017-05-19 11:20
我的月亮
阅读(209)
评论(0)
推荐(0)
摘要：
介绍
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？
首先让我们看几个基本的消息系统术语：
Kafka将消息以topic为单位进行归纳。
将向Kafka topic发布消息的程序成为producers.
将预订topics并消费消息的程序成为consumer.
Kafka以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个broker.
java企业架构 spring mvc +mybatis + KafKa+Flume+Zookeeper
分布式消息中间件：spring mvc +mybatis + KafKa+Flume+Zookeeper 阅读全文
posted @ 2017-05-19 11:14
我的月亮
阅读(152)
评论(0)
推荐(0)
浙公网安备 33010602011771号