代码改变世界

稳定高效大型系统架构---集群中间件开发

2009-05-12 13:39  周国选  阅读(669)  评论(2编辑  收藏

一个偶然的机会,使我接处到Corba中间件。当时公司还特意让我北京borland公司学习一段时间。我对其visibroke中间件佩服的五体投地,从理论上讲:如果你架设的中间层,可以实现多台并发运行,又能实现负荷平衡,还能实现故障热切换,那么你就有了99.99999%稳定的中间件服务器。对此,我在学习时间倾赋了所有时间和精力,就连女朋友吵着去看长城,我都不想去。

       那现在来说,稳定的中间件应该是什么样子呢?

       对于客户端请求,如果发现服务停止,可以实现服务无缝转移---这叫不丢失任何服务.

       对于多个客户端请求,可以讲请求轮巡到不同的服务器上---这样叫负荷平摊,如果再做到可以根据客户端数量方面地增减服务器数量,那就能很通过简单增加服务器,实现系统效率的提升。

       最牛的是,如果你再加上分布式程序设计。一个函数,根据服务器负荷平摊的特点,可以让多个服务器,同时为一个函数工作。visibroke完全可以做到这点。

       可以visibroke太贵了,好多西就是贵,贵得公司放弃这个选择。不过,对此优秀的中间层算法,在我脑子里一直徘徊。后来我换了公司,新的看中我对中间层的理解,特聘请我开发中间层。到目前为此,我的中间层也在几个城市三警系统上安全稳定地运行,还没有出现过故障。虽然还有很多不完美的地方,但今天把这些实现算法拿出来,提供交流。

       从纵向上,思考:

       第一:客户端请求,实现轮巡。

                   知道了请求,需要轮巡。就要先知道有那些服务器---》 设计服务器注册注销机制。

                   还要知道请求当前,每台服务器上有那些负荷---》客户端请求计算机制。

                   然后根据这些,计算当前请求由那个服务器来完成任务。

      第二:故障热切换

                  经试验验证,故障有三种情况

                 A)请求选择服务器前,有故障。

                 B)服务器选中后,准备开始要服务时,故障。

                 C)服务正在进行时,发生故障。

       为解决以上问题,我做出如下架构:

               

1. 在客户端,开发了安全访问机制,保证在有服务存在的情况,单次的访问异常,可以容错;同时若访问时发生故障,重新请求。

2.中间层开发了负荷平衡机制,其建立的集群,对客户端来说,是一个透明体。客户端只需要知道公布的服务集群IP地址,由负荷平衡自动分配请求;同时服务器发生故障时,自动从集群中移去,将请求切换至其它正常的服务器上。(中间层是一个无状态,多线程,分布式的应用程序服务,对任何一个请求,由哪台服务器提供服务都可以达到一致的目标)

3.  其架构如下图:

实现算法