算法引论
算法引论
何谓算法（Algorithm）
通俗的讲，算法是指解决问题的一种方法或一个过程。严格的讲，算法是若干指令的有穷序列，满足性质：
(1) 输入：有零个或者多个外部量作为算法的输入。
(2) 输出：算法产生至少一个量作为输出。
(3) 确定性：组成算法的每条指令是清晰，无歧义的。
(4) 有限性：算法中每条指令的执行次数是有限的，执行每条指令的时间也是有限的。
何谓程序(Program)
程序是算法用某种程序设计语言的具体实现。程序可以不满足算法的性质(4)即有限性。例如操作系统，它是在无限循环中执行的程序，因而不是算法。然后可把操作系统的各种任务看成一些单独的问题，每一个问题由操作系统中的一个子程序通过特定的算法实现。该子程序得到的输出结果后便终止。
问题求解(Problem Solving)
算法设计过程
1． 理解问题
2． 了解计算机设备的性能
3． 在精确解法和近似解法间做选择
4． 确定适当的数据结构
5． 算法设计技术
6． 详细表述算法的方法
7． 证明算法的正确性
8． 分析算法
9． 为算法写代码
算法复杂性分析
算法复杂性 = 算法所需要的计算机资源;
算法的时间复杂性T(n);
算法的空间复杂性S(n);
其中n是问题的规模（输入大小）.
1、算法渐近复杂性
t(n)是T(n)的渐近性态，为算法的渐近复杂性。
在数学上， t(n)是T(n)的渐近表达式，是T(n)略去低阶项留下的主项。它比T(n) 简单。
2、渐近分析的记号
在下面的讨论中，对所有n，f(n) >= 0，g(n)>=0。
(1)渐近上界记号Ο
O(g(n)) = { f(n) | 存在正常数c和n0使得对所有n >=n0有：0 <= f(n)<= cg(n) }
(2)渐近下界记号Ω
Ω(g(n)) = { f(n) | 存在正常数c和n0使得对所有n>=n0有：0 <=cg(n)<=f(n) }
(3)非紧上界记号o
o(g(n)) = { f(n) | 对于任何正常数c>0，存在正数和n0 >0使得对所有n>=n0有：0 <=f(n)<cg(n) }
等价于 f(n) / g(n) ->0 ，as n->∞。
(4)非紧下界记号ω
ω(g(n)) = { f(n) | 对于任何正常数c>0，存在正数和n0 >0使得对所有n>=n0有：0 <=cg(n) < f(n) }
等价于 f(n) / g(n)-> ∞，as n->∞。 f(n) ∈ω(g(n)) 等价于g(n) ∈o (f(n))
(5)紧渐近界记号Θ
Θ(g(n)) = { f(n) | 存在正常数c1,c2和n0使得对所有n>=n0有：c1g(n)<=f(n)<=c2g(n) }
定理1： Θ(g(n)) = O (g(n)) ∩Ω(g(n))
3、渐近分析记号在等式和不等式中的意义
f(n)= Θ(g(n))的确切意义是：f(n)∈Θ(g(n))。
一般情况下，等式和不等式中的渐近记号Θ(g(n))表示Θ(g(n))中的某个函数。
例如：2n*n + 3n + 1 = 2n*n + Θ(n) 表示
2n*n+3n +1=2n*n + f(n)，其中f(n) 是Θ(n)中某个函数。
等式和不等式中渐近记号O,o,Ω和Θ的意义是类似的。
4、渐近分析中函数比较
f(n)= O(g(n)) ≈a <= b;
f(n)= Ω(g(n)) ≈ a >= b;
f(n)= Θ(g(n)) ≈ a = b;
f(n)= o(g(n)) ≈ a < b;
f(n)= ω(g(n)) ≈ a > b
5、渐近分析记号的若干性质
（2）反身性：
（3）对称性
（4）互对称性
几种复杂度比较
|
n |
Logn |
n |
nlogn |
n^2 |
n^3 |
2^n |
n! |
|
10 |
3.3 |
10 |
3.3*10 |
10^2 |
10^3 |
10^3 |
3.6*10^6 |
|
10^2 |
6.6 |
10^2 |
6.6*10^2 |
10^4 |
10^6 |
1.3*10^30 |
9.3*10^157 |
|
10^3 |
10 |
10^3 |
1.0*10^4 |
10^6 |
10^9 |
|
|
算法的效率
一个算法的最差效率：是指当输入规模为N时，算法在最坏情况下的效率。
一个算法的最优效率：是指当输入规模为N时，算法在最优情况下的效率。
一个算法的平均效率：在“典型”或者“随机”输入的情况下，算法会具有什么样的行为。
（1）最坏情况下的时间复杂性
Tmax(n) = max{ T(I) | size(I)=n }
（2）最好情况下的时间复杂性
Tmin(n) = min{ T(I) | size(I)=n }
（3）平均情况下的时间复杂性
Tavg(n) = 
其中I是问题的规模为n的实例，p(I)是实例I出现的概率。
算法分析方法
例：顺序搜索算法
template<class Type>
int seqSearch(Type *a, int n, Type k)
{
for(int i=0;i<n;i++)
if (a[i]==k) return i;
return -1;
}
（1）Tmax(n) = max{ T(I) | size(I)=n } = O(n)
（2）Tmin(n) = min{ T(I) | size(I)=n } = O(1)
（3）在平均情况下，假设：
(a) 搜索成功的概率为p ( 0 <= p<= 1 )；
(b) 在数组的每个位置i ( 0 <=i < n )搜索成功的概率相同，均为 p/n。
算法分析的基本法则
1、非递归算法
（1）for / while 循环
循环体内计算时间 * 循环次数；
（2）嵌套循环
循环体内计算时间 * 所有循环次数；
（3）顺序语句
各语句计算时间相加；
（4）if-else语句
if语句计算时间和else语句计算时间的较大者。
2、递归算法复杂性分析
int factorial(int n)
{
if (n == 0) return 1;
return n*factorial(n-1);
}
参考资料 王晓东编著《算法设计与分析（第二版）》
授课教师 张阳教授
