0x07算法设计与分析复习（二）：算法设计策略-动态规划法3

参考书籍：算法设计与分析——C++语言描述（第二版）

算法设计策略-动态规划法

矩阵连乘

问题描述

给定n个矩阵\(\{A_0,A_1,\cdots,A_{n-1}\}\)，其中\(A_i(i=0,\cdots,n-1)\)的维数为\(p_i\times p_{i+1}\)，并且\(A_i\)与\(A_{i+1}\)是可乘的。考虑这n个矩阵的连乘积\(A_0A_1\cdots A_{n-1}\)，由于矩阵乘法满足结合律，所以计算矩阵的连乘可以与许多不同的计算次序。矩阵连乘问题是确定计算矩阵连乘积的计算次序，使得按照这一次序计算矩阵连乘积，需要的“数乘”次数最少。

设有矩阵A和B，A是\(m\times n\)矩阵，B是\(n\times p\)矩阵，则A和B是可乘的。乘积矩阵\(D=AB\)是\(m\times p\)矩阵，它的元素\(d_{ij}\)为：

\[d_{ij}=\sum_{k=0}^{n-1}a_{ik}*b_{kj}\ \ 0\leq i<m,0\leq j<p \]

矩阵A和B相乘的数乘（两元素相乘）次数是：\(n\times m\times p\)。通常以矩阵乘法中需执行的数乘次数作为两矩阵相乘的计算量。
矩阵连乘的计算次序可以用加括号的方式来确定，一旦一个矩阵连乘的计算次序完全确定，也称该连乘积已完全加括号（fully parenthesized）。

完全加括号的矩阵连乘积可递归地定义为：

  • 单个矩阵是完全加括号的；
  • 矩阵连乘积A是完全加括号的，则A可表示为两个完全加括号的矩阵连乘积B和C的乘积并加括号，即\(A=(BC)\)。

设\(p(n)\)是n个矩阵连乘时可能的加括号的方案数目，它们决定不同的计算次序。假定先将连乘的矩阵序列\(A_0A_1\cdots A_{n-1}\)分解成两个矩阵子序列\(A_0A_1\cdots A_k\)和\(A_{k+1}A_{k+2}\cdots A_{n-1},0\leq k<n-1\)，然后分别对两个子序列完全加括号，最后加上最外层括号，得到原矩阵序列的完全加括号形式，由此可以得到关于\(p(n)\)的递推关系式：

\[p(n)=\left\{\begin{aligned} &1 &n=1\\ &\sum_{k=1}^{n-1}p(k)p(n-k) &n\geq 2 \end{aligned}\right. \]

此递推式的解是卡特朗（Catalan）数列：\(P(n)=C(n-1)\)。式中：

\[C(n)=\frac{1}{n+1}\binom{2n}{n}=\Omega\left(\frac{4^n}{n^{3/2}}\right) \]

动态规划法求解

最优子结构

矩阵连乘\(A_iA_{i+1}\cdots A_j\)简记为\(A[i:j]，i\leq j\)。于是矩阵连乘\(A_0A_1\cdots A_{n-1}\)可记作\(A[0:n-1]\)。将这一计算次序在矩阵\(A_k\)和\(A_{k+1}，0\leq k<n-1\)之间断开，则其相应的完全加括号形式为\(((A_0A_1\cdots A_k)(A_{k+1}A_{k+2}\cdots A_{n-1}))\)。可先分别计算\(A[0:k]\)和\(A[k+1:n-1]\)，然后将两个连乘积再相乘得到\(A[0:n-1]\)。

矩阵连乘\(A[0:n-1]\)的最优计算次序的计算量等于\(A[0:k]\)和\(A[k+1:n-1]\)两者的最有计算次序的计算量之和，再加上\(A[0:k]\)和\(A[k+1:n-1]\)相乘的计算量。如果两个矩阵子序列的计算次序不是最优的，则原矩阵的计算次序也不可能是最优的。所以，矩阵连乘问题的最优解具有最优子结构特性。

最优解的递推关系

定义一个二维数组m，用来保存矩阵连乘时所需的最少计算量。
设m是二维数组，\(m[i][j]\)定义为：计算矩阵连乘\(A[i:j](0\leq i\leq j\leq n-1)\)所需的最少乘次数。

当\(i=j\)时，\(A[i:j]=A_i\)是单一矩阵，无需计算因此\(m[i][i]=0,i=0,1,\cdots,n-1\)。
当\(i<j\)时，假定在\(A_k\)和\(A_{k+1}\)之间分解，则通过先分别计算两个子序列连乘后再相乘的方式计算\(A[i:j]\)的计算量\(m[i][j]\)为：

\[m[i][j]=m[i][k]+m[k+1][j]+p_ip_{k+1}p_{j+1} \]

这里\(A_i\)的维数是\(p_i\times p_{i+1}\)，\(m[i][k]\)和\(m[k+1][j]\)分别为\(A[i:k]\)和\(A[k+1:j]\)的最少计算量，\(p_ip_{k+1}p_{j+1}\)是两个子序列连乘的乘积矩阵再相乘的计算量。由于\(k=i,i+1,\cdots,j-1\)，因此可得到如下的递推式：

\[m[i][j]=\left \{ \begin{aligned} & 0 &i=j\\ & \min_{i\leq k<j}\{m[i][k]+m[k+1][j]+p_ip_{k+1}p_{j+1}\} &i<j \end{aligned}\right. \]

在上式中，\(i\leq j\)所以只需计算m的上三角部分元素。使上式取最小值的k就是\(A[i:j]\)的最优计算次序中的断开位置，如果将此断开位置k保存在\(s[i][j]\)中，就可以计算得到最优解值之后，由s构造出相应的最优解。

重叠子问题

由于不同的有序对\((i,j),0\leq i\leq j\leq n-1\)对应于不同的子问题，因此，不同子问题的个数最多只有

\[\binom{n}{2}+n=\Theta(n^2) \]

可以证明，直接采用递推计算式，具有指数事件，这与检查每一种加括号方式相同。在递归计算时，许多子问题被重复计算多次。这也是采用动态规划法解决此问题的原因之一，用动态规划法求解此问题，可以采用自底向上的方式进行计算。在计算过程中，保存已求得的子问题的解。每个子问题只计算一次，以后可以直接使用，从而避免重复计算。

矩阵连乘算法

//矩阵连乘算法

class MatrixChain
{
public:
    MatrixChain(int mSize,int *q);//创建二维数组m和s，一维数组p，并初始化
    int MChain();//一般动态规划算法求最优解值，计算最优解值m[0][n-1]
    int LookipChain();//备忘录方法计算最优解值
    void Traceback();//构造最优解的共有函数，从s构造最优解，机构造矩阵连乘序列的完全加括号形式
    ...

private:
    void Traceback(int i, int j);//构造最优解的私有递归函数
    int LookupChain(int i,int j);//备忘录方法私有递归
    int *p,**m,**s,n;
};
int MatrixChain::MChain()
{
    //求A[0:n-1]的最优解值
    for(int i=0;i<n;i++)
        m[i][i]=0;
    for(int r=2;r<=n;r++)
        for(int i=0;i<=n-r;i++){
            int j=i+r-1;
            m[i][j]=m[i+1][j]+p[i]*p[i+1]*p[j+1];//m[i][j]的初值
            s[i][j]=i;
            for(int k=i+1;k<j;k++){
                int t=m[i][k]+m[k+1][j]+p[i]*p[k+1]*p[j+1];
                if(t<m[i][j]){
                    m[i][j]=t;
                    s[i][j]=k;
                }
            }
        }
    return m[0][n-1];
}
void MatrixChain::Traceback(int i,int j)
{
    if(i==j){
        cout << 'A' << i;
        return ;
    }
    if(i<s[i][j])   cout << '(';
    Traceback(i,s[i][j]);
    if(i<s[i][j])   cout << ')';

    if(s[i][j]+1<j) cout << '(';
    Traceback(s[i][j]+1,j);
    if(s[i][j]+1<j) cout << ')';
}
void MatrixChain::Traceback()
{
    cout << '(';
    Traceback(0,n-1);
    cout << ')';
    cout << endl;
}

函数MChain包含三重循环，循环体内的计算量为\(0(1)\)，所以算法的时间复杂度为\(0(n^3)\)，空间复杂度为\(0(n^2)\)。相对于穷举法的指数时间复杂度而言，动态规划算法更加有效。

备忘录方法

备忘录方法是动态规划法的一个变种。它采用分治法思想，以自顶向下直接递归的方式求最优解，但与分治法不同的是，备忘录方法为每一个已经计算的子问题建立备忘录，即保存子问题的计算结果以备需要时使用，从而避免了相同子问题的求解。

//矩阵连乘的备忘录方法
int MatrixChain::LookupChain(int i,int j)
{
    if(m[i][j]>0)
        return m[i][j];//子问题已经求解，直接引用
    if(i==j)
        return 0;//单一矩阵无需计算
    int u=LookupChain(i+1,j)+p[i]*p[k+1]*p[j+1];//求最小值
    s[i][j]=i;
    for(int k=i+1;k<j;k++){
        int t=LookupChain(i,k)+LookupChain(k+1,j)+p[i]*p[k+1]*p[j+1];
        if(t<u){
            u=t;
            s[i][j]=k;
        }
    }
    //保存并返回子最优解值
    m[i][j]=u;
    return u;
}

int MatrixChain::LookupChain()
{
    return LookupChain(0,n-1);//返回A[0:n-1]的最优解值
}

备忘录方法的时间复杂度也是\(O(n^3)\)（因为总共有\(O(n^2)\)个\(m[i][j]\)需要计算，这些元素的初始化需要\(O(n^2)\)时间，计算一个元素的时间为\(O(n)\)）。

最长公共子序列

问题描述

定义：若给定序列\(X=(x_1,x_2,...,x_m)\)，则另一序列\(Z=(z_1,z_2,...,z_k)\)为X的子序列（subsequence）是指存在一个严格递增下标序列\((i_1,i_2,..,i_k)\)使得对于所有\(j=1,..,k\)有\(z_j=x_{i_j}\)。

定义：给定两个序列X和Y，当另一个序列Z既是X的子序列又是Y的子序列时，称Z是序列X和Y的公共子序列（common subsequence）。

最长公共子序列的穷举法：对于长度为m的序列X，其每个子序列都对应于下标集\(\{1,2,…,m\}\)的一个子集，X的子序列数多达\(2^m\)，算法的时间是指数级的。

动态规划法求解

最优子结构

定理：设\(X=(x_1,x_2,\cdots,x_m)\)和\(Y=(y_1,y_2,\cdots,y_n)\)为两个序列，\(Z=(z_1,z_2,\cdots,z_k)\)是他们的最长公共子序列，则

  • 若\(x_m=y_n\)，则\(z_k=x_m=y_n\)，且\(Z_{k-1}\)是\(X_{m-1}\)和\(Y_{n-1}\)的最长公共子序列；
  • 若\(x_m\neq y_n\)，且\(z_k\neq x_m\)，则\(Z\)是\(X_{m-1}\)和\(Y\)的最长公共子序列；
  • 若\(x_m\neq y_n\)，且\(z_k\neq y_n\)，则\(Z\)是\(X\)和\(Y_{n-1}\)的最长公共子序列；

以上定理表明两个序列的最长公共子序列包含了这两个序列的前缀的最长公共子序列，这意味着最长公共子序列具有最优子结构特性。

最优解的递推关系

设有序列\(X=(x_1,x_2,\cdots,x_m)\)和\(Y=(y_1,y_2,\cdots,y_n)\)，根据最优解具有最优子结构特性，由此可以推导出以下递推关系：

  • 若\(x_m=y_n\)，则先求\(X_{m-1}\)和\(Y_{n-1}\)的最长公共子序列，并在其尾部加上\(x_m\)便得到\(X_m\)和\(Y_m\)的最长公共子序列；
  • 若\(x_m\neq y_n\)，则必须分别求解两个子问题\(X_{m-1}\)和\(Y_n\)，以及\(X_m\)和\(Y_{n-1}\)的最长公共子序列，这两个公共子序列中的较长者就是\(X_m\)和\(Y_m\)的最长公共子序列；

与矩阵连乘类似，需要使用一个二维数组来保存最长公共子序列的长度，设\(c[i][j]\)保存\(X_i=(x_1,x_2,\cdots,x_i)\)和\(Y_j=(y_1,y_2,\cdots,y_j)\)的最长公共子序列的长度。对于\(c[i][j]\)有以下递推式：

\[c[i][j]=\left\{\begin{aligned} & 0 &i=0或j=0\\ & c[i-1][j-1]+1 &i,j>0,x_i=y_j\\ & \max\{c[i][j-1],c[i-1][j]\} &i,j>0,x_i \neq y_j \end{aligned}\right. \]

最长公共子序列算法

如果直接根据上面的递推式写一个计算\(c[i][j]\)的递归算法，但会得到一个指数时间的算法。采用动态规划法可以避免重复计算子问题，在本问题中的不同子问题的数目总计为\(\Theta(m\times n)\)，采用动态规划法进行自底向下求解，可在多项式时间内完成计算。由于每一个数组元素的计算时间为\(O(1)\)，则程序的时间复杂度为\(O(m\times n)\)。

//动态规划法求LCS长度
class LCS
{
public:
    //创建二维数组c,s和一维数组a,b，并进行初始化
    LCS(int nx,int ny, char *x,char *y);
    //求最优解值（最长公共子序列长度）
    void LCSLength();
    //构造最优解（最长公共子序列）
    void CLCS();
    ...
private:
    void CLCS(int i,int j);
    int **c,**s,m,n;
    char *s,*b;
};

int LCS::LCSLength()
{
    for(int i = 1;i<=m;i++)
        c[i][0]=0;
    for(int i=1;i<n;i++)
        c[0][i]=0;
    for(int i = 1;i<=m;i++){
        for(int j=1;j<n;j++){
            if(x[i]==y[j]){
                c[i][j]=c[i-1][j-1]+1;
                s[i][j]=1;
                //由c[i-1][j-1]计算c[i][j]
            } else if(c[i-1][j]>=c[i][j-1]){
                c[i][j]=c[i-1][j];
                s[i][j]=2;
                //由从c[i-1][j]得到c[i][j]
            } else{
                c[i][j]=c[i][j-1];
                s[i][j]=3;
                //由c[i][j-1]得到c[i][j]
            }
        }
    }
    return c[m][n];//返回最优解值
}

设由序列\(X=(x_1,x_2,\cdots,x_m)\)和\(Y=(y_1,y_2,\cdots,y_n)\)，上述程序可以构造他们的最长公共子序列。从\(s[m][n]\)开始，如果\(s[i][j]=1\)，表示它是由\(X_{i-1}\)和\(Y_{j-1}\)的最长公共子序列的尾部加上\(x_i\)形成的；如果\(s[i][j]=2\)，表示它与\(X_{i-1}\)和\(Y_j\)的最长公共子序列相同；如果\(s[i][j]=3\)，表示它与\(X_i\)和\(Y_{j-1}\)的最长公共子序列相同；如果\(i=0\)或\(j=0\)，则为空子序列。

//构造最长公共子序列
void LCS::CLCS(int i,int j)
{
    if(i==0||j==0)
        return ;
    if(s[i][j]==1){
        CLCS(i-1,j-1);
        cout<<a[i];
    } else if(s[i][j]==2){
        CLCS(i-1,j);
    } else {
        CLCS(i,j-1);
    }
}

算法的改进

求LCS长度的程序中数组s是可以省去的，因为\(c[i][j]\)由\(c[i][j]=c[i-1][j-1]+1\)、\(c[i][j]=c[i-1][j]\)或\(c[i][j]=c[i][j-1]\)计算得来，因此为了确定\(c[i][j]\)是从者三者中哪一个计算得来的，可以直接由c的值确定。因此可以写一个类似的CLCS算法在\(O(m+n)\)时间内构造出最长公共子序列，该算法使用c而不是用s以减少存储空间。
另外，在只求最长公共子序列的长度、无需构造最优解时，也可以只用两行元素空间，时间是\(O(\min\{m,n\})\)。

posted @ 2018-01-09 11:01  main_c  阅读(410)  评论(0)    收藏  举报