漫谈算法(四)分治算法 Divide and Conquer Algorithm

Keywords: Divide and Conquer Algorithm; Mathematical Induction; Recurrence Tree; Master Theorem .
先看一段来自wikipedia的定义:http://en.wikipedia.org/wiki/Divide_and_conquer_algorithm
Divide and conquer (D&C) is an important algorithm design paradigm based on multi-branched recursion. A divide and conquer algorithm works by recursively breaking down a problem into two or more sub-problems of the same (or related) type, until these become simple enough to be solved directly. The solutions to the sub-problems are then combined to give a solution to the original problem.
简单翻译一下:
分治算法是基于多分枝递归的一种算法设计模式。分治算法递归地把一个大问题分解为多个类型相同的子问题,直到这些子问题足够的简单能被直接解决。最后把这些子问题的解结合起来就能得到原始问题的解。
根据这个定义,我们可以很明显的知道,对于D&C问题,我们解决它需要两步,一是要找到递归式;二是要根据递归式能找到最后的答案。
首先,什么是递归式。
下面是从算法导论(Introduction to Algorithm Edition 3)上copy下的一小段话,解释的相当清楚。
Recurrences go hand in hand with the divide-and-conquer paradigm, because theygive us a natural way to characterize the running times of divide-and-conquer algorithms.A recurrence is an equation or inequality that describes a function in terms of its value on smaller inputs.
举个例子,
T(n) = 4T(n/2) + n,这个表达式就是我们的递归式。
对于不同的问题,我们得到的递归式各不相同,通常这个是因问题而已。但总体思路是如何分解原始的问题。
而本文的重点则是在后面,介绍如何在有了递归式的情况下,找到问题的答案。如分析某个问题的时间复杂度。
通常,解决这类问题(一直递归式,找答案)有三种方法:
1. Mathematical Induction 数学归纳法
2. Recursion Tree 画递归树找规律
3. Master Theorem 主定理(好像中文版的算法导论上就是这样翻译的,感觉真挫)
后面就简单针对以上三种方法用具体例子做一个简单的说明。
1. Mathematical Induction 数学归纳法
使用数学归纳法,这个大家基本都清楚,就是假设一个在n的时候结论成立,证明在n+1的时候结论也成立,当然,在我们这里,稍微有点变化。举个例子。
T(n) = T(n/2) + T(n/4) + T(n/8) + n
现在我们要就上面表达式T(n),现在我们就先guess T(n) = Theta(n)。
当然我们知道要证明T(n) = Theta(n),我们需要分别证明T(n) = O(n)和T(n) = Omega(n)。
很显然,这里T(n) = Omega(n)的,因为T(n) = T(n/2) + T(n/4) + T(n/8) + n > n,显然,T(n) = Omega(n).
下面用数学归纳法证明T(n) = O(n)
假设T(n) <= cn,所以其中c是一个常数。
所以T(n) <= c*n/2 + c*n/4 + c*n/8 + n = (7c/8+1)n
我们只需让(7c/8+1)n <= cn,显然我们可以找到一个正常数c使该式成立。所以T(n) = O(n)。
综上,T(n) = Theta(n)。
上面的证明是没有问题了,但是可能有朋友要问,凭什么你一开始就guess T(n) = Theta(n) 呢?没错,make a good guess 是这种方法的关键,下面就简单的说一下make this guess的intuition。
首先,我们可以简单的画出下面这棵树。
当然我们可以发现,在每一层,随着递归的深入,每一层的总cost是减小的,所以我们可以推测,在层数很大的情况下,那一层的总cost很小,无法和顶层相比,这也就是说,这个问题的T(n)主要由顶层决定,最顶层是n,所以我们有理由guess答案是cn。c为一常数。
下面在介绍两个guess的小tricks
1)遇到T(n) = aT(n/b + d) + f(n)的时候,在绝大多数的情况下,我们可以直接忽略d来进行guess,因为当n足够大的时候 n/b + d 和 n/b 几乎是一样的。
2)guess的时候可以加一个常数项,比如上面guess T(n) = O(n)的时候,我们用的是 T(n)<= cn,有时候推导不顺利的时候,可以试试 用T(n) <= cn-d,这样可以摆脱一些常数项的干扰。
2. Recursion Tree 画递归树找规律
其实这个方法和前面的画树的方法很相似,这里就举一个简单的例子来说明问题。
现在假设我们的递归式是 T(n) = aT(n/b) + n^k。 这里由于画树比较麻烦(偷个懒(*^__^*) 。。。)我就画成表格了,其实原理都一样,只是呈现的方式不一样。
当然,我们知道最后的level是 log_{b}^n,然后我们把最后一列相加,就得到了我们的结果,
最后,再啰嗦一句。
在找树的高度height的时候,有时候可能我们会遇到 T(n) = T(n/3)+T(2n/3)+O(n)类似的问题,这个时候树的高度可能不能一下子得到,其实我们如果画出recursion tree,如下图,可以知道,树的高度有最长的那个分支决定,也就是n---(2/3)n---(2/3)^2n...---1这条分支,所以高度k 应该满足 (2/3)^k * n = 1,所以k = log_{3/2}^{n}. 

3. Master Theorm 主定理
这个其实没有什么好讲的,定理的证明比较复杂,感兴趣的朋友可以直接查阅算法导论第四张最后几个小节,这里就把结论贴上来了。
通常,条件符合,就直接得结论。

========================================================================================

本作品采用知识共享署名 2.5 中国大陆许可协议进行许可。 本博客采用知识共享署名 2.5 中国大陆许可协议进行许可。本博客版权归作者所有,欢迎转载,但未经作者同意不得随机删除文章任何内容,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。如您有任何疑问或者授权方面的协商,请给留言。(http://www.cnblogs.com/Gavin_Liu/)


posted @ 2011-04-15 03:21  Gavin.Liu  阅读(14565)  评论(3编辑  收藏  举报