云计算之路-阿里云上-阵雨:RDS故障的突袭

风雨之后是彩虹,经历了三个月的风雨之后,从6月14日起(上次故障发生于6月13日)开始享受彩虹。。。而今天突袭而来的RDS故障让我们懂得了彩虹期间会有阵雨,但不管怎么样,离“晴空万里”越来越近了。

2013年7月23日10:00~11:00左右,我们使用的阿里云RDS(关系型数据库服务)突然出现故障,造成了网站不能访问(大家访问时遇到的502错误就是故障的表现)。由此给大家带来了很大的麻烦,我们深表歉意!望大家谅解!

这次502故障发生时,我们先从服务器上的错误日志下手,一下子将故障的引发点逮个正着:

System.Data.SqlClient.SqlException (0x80131904): 在从服务器接收结果时发生传输级错误。 (provider: TCP Provider, error: 0 - 远程主机强迫关闭了一个现有的连接。)

数据库连接被强制关闭,那问题肯定与RDS有关。

10:05联系阿里云客户经理,10:06提交工单。。。

接着,通过telnet至RDS的端口确认是不是网络问题引起的,telnet正常连接,说明网络没问题,问题在RDS本身。

接下来就是阿里云的工程师在忙,我们只能紧张而焦急地等待。。。

11:00左右,RDS切换至镜像节点(RDS做了数据库镜像)之后,网站立即恢复正常。

对于故障的真正原因,阿里云工程师接下来会进行全面的分析。多希望有一天阿里云能像Amazon一样,将每次故障的原因及处理情况对外公开。

就这样经历了一场云上的阵雨,有人在微博上说我们是阿里云踩坑大师,我们希望踩一个少一个,同时希望阿里云找出所有的坑一个一个填平,只要有坑,总会被人踩着的。

posted @ 2013-07-23 13:53 博客园团队 阅读(...) 评论(...) 编辑 收藏