数据结构与算法之美学习笔记:第十讲

一、开篇问题

推荐注册返佣金的这个功能我想你应该不陌生吧?现在很多App都有这个功能。这个功能中,用户A推荐用户B来注册,用户B又推荐了用户C来注册。我们可以说,用户C的“最终推荐人”为用户A,
用户B的“最终推荐人”也为用户A,而用户A没有“最终推荐人”。

一般来说,我们会通过数据库来记录这种推荐关系。在数据库表中,我们可以记录两⾏数据,其中actor_id表示用户id,referrer_id表示推荐人id。

基于这个背景,我的问题是,给定一个用户ID,如何查找这个用户的“最终推荐人”? 带着这个问题,我们来学习今天的内容,递归(Recursion)

二、如何理解递归

1、电影院案例

周末你带着女朋友去电影院看电影,女朋友问你,咱们现在坐在第几排啊?电影院里面太黑了,看不清,没法数,现在你怎么办?

2、用递归解决你在第几排的问题

别忘了你是程序员,这个可难不倒你,递归就开始排上用场了:

  1. 于是你就问前面一排的人他是第几排,你想只要在他的数字上加一,就知道自己在哪一排了。
  2. 但是,前面的人也看不清啊,所以他也问他前面的人。就这样一排一排往前问,直到问到第一排的人,说我在第一排,
  3. 然后再这样一排一排再把数字传回来。直到你前面的人告诉你他在哪几排,于是你就知道答案了。

这就是一个非常标准的递归求解问题的分解过程:

去的过程叫“递”,回来的过程叫“归”。基本上,所有的递归问题都可以用递推公式来表示。刚刚这个生活中的例子,我们用递推公式将它表示出来就是这样的:

f(n)=f(n-1)+1 其中,f(1)=1

三、递归需要满足三个条件

刚刚这个例子是非常典型的递归,那究竟什么样的问题可以用递归来解决呢?我总结了三个条件,只要同时满足以下三个条件,就可以用递归来解决。

1.一个问题的解可以分解为几个子问题的解

何为子问题?

子问题就是数据规模更小的问题。比如,前面讲的电影院的例子,

你要知道,“自己在哪一排”的问题,可以分解为“前一排的人在哪一排”这样一个子问题。

2.这个问题与分解之后的子问题,除了数据规模不同,求解思路完全一样

比如电影院那个例子,你求解“自己在哪一排”的思路,和前面一排人求解“自己在哪一排”的思路,是一模一样的。

3.存在递归终止条件

把问题分解为小问题,把子问题再分解为子子问题,一层一层分解下去,不能存在无限循环,这就需要有终止条件。

还是电影院的例子,第一排的就不需要再继续询问任何人,就知道自己在哪一排,也就是f(1)=1,这就是递归的终止条件。

四、如何编写递归代码

1、走台阶案例

假如这里有n个台阶,每次你可以跨1个台阶或者2个台阶,请问走这n个台阶有多少种方法?如果有7个台阶,你可以
2,2,2,1这样子上去,也可以1,2,1,1,2这样子上去,总之之法有很多,那如何用编程求得总共有多少种走法呢?

1、将大问题分解为小问题的规律

我们仔细想下,实际上,可以根据第一步的方法把所有方法分为两类,

  • 第一类是第一步走了1个台阶,
  • 另一类是第一步走了2个台阶。

所以n个台阶的方法就等于先走1阶后,n-1个台阶的走法 加上先走2阶后,n-2个台阶的走法。用公式表示就是

f(n) = f(n-1)+f(n-2)

2、写出递推公式,

我们可以把f(2)=2作为一种终止条件,表示走2个台阶,有两种走法,一步走完或者分两步来走。

3、推敲终止条件,

所以,递归终止条件就是f(1)=1,f(2)=2。这个时候,你可以再拿n=3,n=4来验证一下,这个终止条件是否足够并且正确。
我们把递归终止条件和刚刚得到的递推公式放到一起就是这样的:

f(1) = 1;
f(2) = 2;
f(n) = f(n-1)+f(n-2)

4、将递推公式和终止条件翻译成代码。

有了这个公式,我们转化成递归代码就简单多了。最终的递归代码是这样的:

int f(int n) {
  if (n == 1) return 1;
  if (n == 2) return 2;
  return f(n-1) + f(n-2);
}

我总结一下:

  1. 写递归代码的关键就是找到如何将大问题分解为小问题的规律,并且基于此写出递推公式,
  2. 然后再推敲终止条件
  3. 最后将递推公式和终止条件翻译成代码

2、递归的思维误区

像我刚刚讲的第一个例子,人脑几乎没办法把整个“递”和“归”的过程一步一步都想清楚。

1、计算机擅长做重复的事情,所以递归正和它的胃口。
2、而我们人脑更喜欢平铺直叙的思维方式。当我们看到递归时,我们总想把递归平铺展开,
3、脑子里就会循环,一层一层往下调,然后再一层一层返回,
4、试图想搞清楚计算机每一步都是怎么执行的,这样就很容易被绕进去。

对于递归代码,这种试图想清楚整个递和归过程的做法,实际上是进入了一个思维误区。很多时候,我们理解起来比较吃力,主要原因就是自己给自己制造了这种理解障碍。

3、正确理解递归的思维

那正确的思维方式应该是怎样的呢?

1、如果一个问题A可以分解为若干个字问题B、C、D,
2、你可以假设子问题B、C、D已经解决,在此基础上思考如何解决问题A。而且,你只需要思考问题A与⼦问题B、C、D两层之间的关系即可,
3、不需要一层一层往下思考子问题与子子问题,子子问题与子子子问题之间的关系。屏蔽掉递归细节,这样子理解起来就简单多了。

因此,编写递归代码的关键是,只要遇到递归,我们就把它抽象成一个递推公式,不用想一层层的调用关系,不要试图用人脑去分解递归的每个步骤。

五、递归代码要警惕堆栈溢出

1、堆栈溢出的危害

堆栈溢出会造成系统性崩溃,后果会非常严重

2、为什么递归代码容易造成堆栈溢出呢?

  • 函数调用会使用栈来保存临时变量。
  • 每调用一个函数,都会将临时变量封装为栈帧压入内存栈,
  • 等函数执行完成返回时,才出栈。

系统栈或者虚拟机栈空间一般都不大。如果递归求解的数据规模很大,调用层次很深,一直压入栈,就会有堆栈溢出的风险

比如前面的讲到的电影院的例子,如果我们将系统栈或者JVM堆栈大小设置为1KB,在求解f(19999)时便会出现如下堆栈报错:

Exception in thread "main" java.lang.StackOverflowError

3、我们应该如何预防堆栈溢出呢?

我们可以通过在代码中限制递归调用的最大深度的方式来解决这个问题。

  • 递归调用超过一定深度(比如1000)之后,我们就不继续往下再递归了,直接返回报错。
  • 还是电影院那个例子,我们可以改造成下面这样子,就可以避免堆栈溢出了。
  • 不过,我写的代码是伪代码,为了代码简洁,有些边界条件没有考虑,比如x<=0。
// 全局变量,表示递归的深度。
int depth = 0;

int f(int n) {
  ++depth;
  if (depth > 1000) throw exception;
  
  if (n == 1) return 1;
  return f(n-1) + 1;
}

但这种做法并不能完全解决问题,因为最大允许的递归深度跟当前线程剩余的栈空间大小有关,

事先无法计算。如果实时计算,代码过于复杂,就会影响代码的可读性。

所以,如果最大深度比较效,比如10、50,就可以用这种方法,否则这种方法并不是很实用。

六、递归代码要警惕重复计算

1、重复计算案例图解

除此之外,使用递归时还会出现重复计算的问题。刚才我讲的第一个递归代码的例子,如果我们把整个递归过程分解如下的话,那就是这样的:

从图中,我们可以直观地看到,想要计算f(5),需要先计算f(4)和f(3),而计算f(4)还需要计算f(3),因此,f(3)就被计算了很多次,这就是重复计算问题。

2、如何避免重复计算

为了避免重复计算,我们可以通过一个数据结构(比如散列表)来保存已经求解过的f(k)。

当递归调用到f(k)时,先看下是否已经求解过了。如果是,则直接从散列表中取值返回,不需要重复计算,

这样就能避免刚讲的问题了。

按照上面的思路,我们来改造一下刚才的代码:

public int f(int n) {
  if (n == 1) return 1;
  if (n == 2) return 2;
  
  // hasSolvedList可以理解成一个Map,key是n,value是f(n)
  if (hasSolvedList.containsKey(n)) {
    return hasSolvedList.get(n);
  }
  
  int ret = f(n-1) + f(n-2);
  hasSolvedList.put(n, ret);
  return ret;
}

除了堆栈溢出、重复计算这两个常用的问题。递归代码还有很多别的问题。

  • 在时间效率上,递归代码里多了很多函数调用,当这些函数调用的数量较大时,就会积聚成一个可观的时间成本。
  • 在空间复杂度上,因为递归调用一次就会在内存栈中保存一次现场数据,
  • 所以在分析递归代码空间复杂度时,需要额外考虑这部分的开销,比如我们前面讲到的电影院递归代码,空间复杂度并不是O(1),而是O(n)。

七、怎么将递归代码改写为⾮递归代码?

1、递归代码的优缺点

1、优点

  1. 递归代码的表达力很强,写起来非常简洁

2、缺点

  1. 空间复杂度高
  2. 有堆栈溢出的风险
  3. 存在重复计算
  4. 过多的函数调用会耗时较多等问题

2、怎么将递归代码改写为非递归代码?

那我们是否可以把递归代码改写为非递归代码呢?比如刚才那个电影院的例子,我们抛开场景,只看f(x) =f(x-1)+1这个递推公式。我们这样改写看看:

int f(int n) {
  int ret = 1;
  for (int i = 2; i <= n; ++i) {
    ret = ret + 1;
  }
  return ret;
}

同样,第二个例子也可以改为非递归的实现方式。

int f(int n) {
  if (n == 1) return 1;
  if (n == 2) return 2;
  
  int ret = 0;
  int pre = 2;
  int prepre = 1;
  for (int i = 3; i <= n; ++i) {
    ret = pre + prepre;
    prepre = pre;
    pre = ret;
  }
  return ret;
}

3、是不是所有的递归代码都可以改为这种迭代循环的非递归写法呢?

  1. 笼统地讲,是的。因为递归本身就是借助栈来实现的,只不过我们使用的栈是系统或者虚拟机本身提供的,我们没有感知罢了。
  2. 如果我们自己在内存堆上实现栈,手动模拟入栈、出栈过程,这样任何递归代码都可以改写成看上去不是递归代码的样
  3. 但是这种思路实际上是将递归改为了“手动”递归,本质并没有变,而且也并没有解决前面讲到的某些问题,徒增了实现的复杂度

八、解答开篇

到此为止,递归相关的基础知识已经讲完了,咱们来看一下开篇的问题:如何找到“最终推荐人”?我的解决方案是这样的:

long findRootReferrerId(long actorId) {
  Long referrerId = select referrer_id from [table] where actor_id = actorId;
  if (referrerId == null) return actorId;
  return findRootReferrerId(referrerId);
}

是不是非常简洁?用三行代码就能搞定了,不过在实际项目中,上面的代码并不能工作,为什么呢?这里面有两个问题。

  1. 第一,如果递归很深,可能会有堆栈溢出的问题。
  2. 第二,如果数据库⾥存在脏数据,我们还需要处理由此产生的无限递归问题。比如demo环境下数据库中,测试工程师为了方便测试,会人为地插入一些数据,就会出现脏数据。如果A的推荐人是B,B的推荐人是C,C的推荐人是A,这样就会发生死循环
  1. 第一个问题,我前面已经解答过了,可以用限制递归深度来解决。
  2. 第二个问题,也可以用限制递归深度来解决。
  3.  不过,还有一个更高级的处理方法,就是自动检测A-B-C-A这种“环”的存在。

如何来检测环的存在呢?这个我暂时不细说,你可以自己思考下,后面的章节我们还会讲。

九、小结

关于递归的知识,到这里就算全部讲完了。我来总结一下。

  1. 递归是一种非常高效、简洁的编码技巧。只要是满足“三个条件”的问题就可以通过递归代码来解决。
  2. 不过递归代码也比较难写、难理解。编写递归代码的关键就是不要把自己绕进去,正确姿势是写出递推公式,找出终止条件,然后再翻译成递归代码。
  3. 递归代码虽然简洁高效,但是,递归代码也有很多弊端。比如,堆栈溢出、重复计算、函数调用耗时多、空间复杂度稿等,所以,在编写递归代码的时候,一定要控制好这些副作用。

十、课后思考

我们平时调试代码喜欢使用IDE的单步跟踪功能,像规模比较大、递归层次很深的递归代码,几乎无法使用这种调试方式。对于递归代码,你有什么好的调试方法呢?

  1. 打印日志发现,递归值。
  2. 结合条件断点进行调试。
  3. python默认递归层数是998

posted @ 2019-11-09 21:53  活的潇洒80  阅读(363)  评论(0编辑  收藏  举报