消息总线 - 随笔分类 - Uncle_Nucky

Kafka分布式：ZooKeeper扩展

摘要：【ZooKeeper】服务注册、服务发现、客户端负载均衡、Offset偏移量分布式存储。kafka使用zookeeper来实现动态的集群扩展，不需要更改客户端（producer和consumer）的配置。broker会在zookeeper注册并保持相关的元数据（topic，partition信息等）... 阅读全文

posted @ 2015-09-30 01:34 Uncle_Nucky 阅读(526) 评论(0) 推荐(0)

Kafka消息topic分区

摘要：kafka是为分布式环境设计的,因此如果日志文件,其实也可以理解成消息数据库,放在同一个地方,那么必然会带来可用性的下降,一挂全挂,如果全量拷贝到所有的机器上,那么数据又存在过多的冗余,而且由于每台机器的磁盘大小是有限的,所以即使有再多的机器,可处理的消息还是被磁盘所限制,无法超越当前磁盘大小.因此... 阅读全文

posted @ 2015-09-30 01:31 Uncle_Nucky 阅读(2997) 评论(0) 推荐(0)

Kafka特性

摘要：————————————————————————————————————————————————【关键原理】1.消息文件存储（消息堆积能力）2.消息topic分区3.消息顺序的保证4.拉模型（消费者水平扩展）——————————————————————————————————————————————... 阅读全文

posted @ 2015-09-30 01:31 Uncle_Nucky 阅读(2564) 评论(0) 推荐(0)

Kafka消息文件存储

摘要：在对消息进行存储和缓存时，Kafka依赖于文件系统。（Page Cache）线性读取和写入是所有使用模式中最具可预计性的一种方式，因而操作系统采用预读（read-ahead）和后写（write-behind）技术对磁盘读写进行探测并优化后效果也不错。预读就是提前将一个比较大的磁盘块中内容读入内存，后... 阅读全文

posted @ 2015-09-30 01:30 Uncle_Nucky 阅读(6102) 评论(0) 推荐(0)

阿里ONS分布式消息系统

摘要：目录• ONS的应用场景• ONS的设计思路• ONS的关键概念• 消息乱序问题• 消息重复问题• 分布式事务与ONSONS的应用场景– 解耦– 异步–最终一致– 并行关键设计– 分布式集群化– 强数据安全– 海量数据堆积– 毫秒级投递延迟消息乱序问题不关注乱序的应用是大量存在的• 队列无序并不意味... 阅读全文

posted @ 2015-07-27 18:47 Uncle_Nucky 阅读(489) 评论(0) 推荐(0)

Kafka分布式消息系统

摘要：1. 作用Kafka是一种处理大量数据的新型系统。Kafka基于拉的消费模型让消费者以自己的速度处理消息。如果处理消息时出现了异常，消费者始终可以选择再消费该消息。Kafka主要的设计约束是吞吐量而不是功能。队列模型的消息中间件，顺序消息，消息堆积能力，主动拉消息核心作用：解耦、异步、并行1.1 特... 阅读全文

posted @ 2015-07-27 18:36 Uncle_Nucky 阅读(484) 评论(0) 推荐(0)

ActiveMQ集群配置

摘要：http://www.cnblogs.com/forchase/p/4317752.htmlQueue consumer clusters此集群让多个消费者同时消费一个队列，若某个消费者出问题无法消费信息，则未消费掉的消息将被发给其他正常的消费者，结构图如下：Broker clusters一个消费者... 阅读全文

posted @ 2015-07-27 18:34 Uncle_Nucky 阅读(200) 评论(0) 推荐(0)

ActiveMQ消息策略

摘要：配置ActiveMQ（消息管理方式）（消息优化）【消息转发顺序】【消息恢复】【消息死信策略】【消息限流】【消息剔除】【慢速消费】【待消费策略】http://shift-alt-ctrl.iteye.com/blog/2061859ActiveMQ中提供了众多的“策略”(policy),它们可以在br... 阅读全文

posted @ 2015-07-27 18:30 Uncle_Nucky 阅读(1093) 评论(0) 推荐(0)

ActiveMQ消息持久化

摘要：什么是消息持久化在发送者将消息发送出去后，消息中心首先将消息存储到本地数据文件、内存数据库或者远程数据库等，然后试图将消息发送给接收者，发送成功则将消息从存储中删除，失败则继续尝试。消息中心启动以后首先要检查制定的存储位置，如果有未发送成功的消息，则需要把消息发送出去。 ActiveMQ持久化方式A... 阅读全文

posted @ 2015-07-27 18:30 Uncle_Nucky 阅读(497) 评论(0) 推荐(0)

ActiveMQ编程

摘要：ActiveMQ作用 & 优势提供标准的产生、发送、接收消息的接口简化企业应用的开发。支持JMS1.1和J2EE 1.4规范的 JMS Provider实现（持久化，XA消息，事务）对Spring的支持，ActiveMQ可以很容易内嵌到使用Spring的系统里面去支持多种传送协议：in-VM,TCP... 阅读全文

posted @ 2015-07-27 18:29 Uncle_Nucky 阅读(356) 评论(0) 推荐(0)

ActiveMQ持久化方式

摘要：[http://blog.csdn.net/xyw_blog/article/details/9128219]消息持久性对于可靠消息传递来说应该是一种比较好的方法，有了消息持久化，即使发送者和接受者不是同时在线或者消息中心在发送者发送消息后宕机了，在消息中心重新启动后仍然可以将消息发送出去，如果把这... 阅读全文

posted @ 2015-07-19 10:27 Uncle_Nucky 阅读(280) 评论(0) 推荐(0)

消息队列中间件的技术选型分析

摘要：【http://cloudate.net/?p=1165】2015/04/25 | 消息队列 | 罗伯特消息队列中间件是互联网行业不可或缺的一项基本技术，在高并发消峰，非关键业务异步化，通知系统，监控数据推送等场景下是必不可少的，下文为转载文章，具体出处不详。个人很喜欢ZeroMQ，非企业级的消息中... 阅读全文

posted @ 2015-07-18 23:29 Uncle_Nucky 阅读(4089) 评论(0) 推荐(0)

《RocketMQ 安装和使用》

摘要：安装Maven安装步骤：《Maven的安装、配置及使用入门》 http://www.cnblogs.com/dcba1112/archive/2011/05/01/2033805.html http://maven.apache.org/download.cgi（apache-maven-3.3... 阅读全文

posted @ 2015-07-18 10:36 Uncle_Nucky 阅读(3591) 评论(2) 推荐(0)

RocketMQ原理讲解系列文章

摘要：【RocketMQ原理解析】【http://blog.csdn.net/quhongwei_zhanqiu/article/category/2548637】【消息的可靠性、顺序和重复】【https://github.com/killme2008/metamorphosis/wiki/%E6%B6%... 阅读全文

posted @ 2015-07-17 16:01 Uncle_Nucky 阅读(401) 评论(0) 推荐(0)

RocketMQ与Kafka对比（18项差异）

摘要：【https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka】淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开... 阅读全文

posted @ 2015-07-17 14:57 Uncle_Nucky 阅读(306) 评论(0) 推荐(0)

《淘宝消息中间件概述》2015-07-11

摘要：1. 消息中间件简介目前主要提供了无序事务性高性能消息队列Notify与有序高性能消息队列RocketMQ(MetaQ)两大类产品，目前RocketMQ已经开源（https://github.com/alibaba/RocketMQ），产品被包括核心交易在内的几乎所有的应用所使用，每秒钟消息量80W... 阅读全文

posted @ 2015-07-11 10:25 Uncle_Nucky 阅读(1543) 评论(0) 推荐(1)

消息系统Kafka介绍 - 董的博客

摘要：1、概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统提供... 阅读全文

posted @ 2015-07-07 16:46 Uncle_Nucky 阅读(286) 评论(0) 推荐(1)

kafka分布式消息队列 — 基本概念介绍

摘要：【http://www.inter12.org/archives/818】这个应该算是之前比较火热的词了，一直没时间抽出来看看。一个新东西出来，肯定是为了解决某些问题，不然不会有它的市场。先简单看下。官方介绍：分布式、分区、支持复制的日志提交系统适用场景：顾名思义，特别适合用于系统日志的异步记录，对... 阅读全文

posted @ 2015-07-07 16:42 Uncle_Nucky 阅读(4459) 评论(0) 推荐(1)

Kafka架构设计：分布式发布订阅消息系统

摘要：【http://www.oschina.net/translate/kafka-design】（较长：很详细的讲解）【我们为什么要搭建该系统】用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。作为多种类型的数据管道（data pipeline... 阅读全文

posted @ 2015-07-07 16:27 Uncle_Nucky 阅读(349) 评论(0) 推荐(0)

Apache Kafka：下一代分布式消息系统

摘要：【http://www.infoq.com/cn/articles/apache-kafka/】分布式发布-订阅消息系统。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比，有以下不同：它被设计为一个分布式系统，易于向外扩展... 阅读全文

posted @ 2015-07-07 16:16 Uncle_Nucky 阅读(190) 评论(0) 推荐(0)

Uncle Nucky

随笔分类 - 消息总线