光辉认为的“随机”在现实的重要性：在通信的学科的某些问题里，随机乱走棋的alpha go在棋盘非常大时棋力和围棋之神相差无几

为什么有些学数学的看不惯甚至鄙视深度学习？ - 朱元的回答 - 知乎

作者：朱元
链接：https://www.zhihu.com/question/58992444/answer/487218536
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

我觉得这些喜欢用纯数学来吹逼的可以来信道点对点通信编码这个学科里来被折磨一通：点对点通信信道编码这个学科，绝大多数已有的编码方案，越是有严谨的代数，图论等数学模型为基础的编码方案，性能越糟糕（图论的会好些）。。偶尔会有几个亮点可以把整个学科的人打一针鸡血（如特斯法斯曼构造的代数几何码在超过49进制的符号中传输性能终于超过了GV bound理论下确界），但是基本都因复杂度过高而无法实用（光是构造这样的码就要超过15次幂的多项式复杂度）。。而且认知到整个学科走在死胡同最终清醒过来，大约要晚到20世纪90年代初，因为90年代头几年依然还在给“几何代数码的译码算法” “非线性码的Z4群构造” 这些不断往让人望而生畏的数学领域深挖的论文发年度最佳论文奖。终于90年代有turbo码（3G，4G的方案）的发现和ldpc码（5G的主要方案）的重新发现，大家开始重新认知到了：根据香农的通信领域创世论文，随机构造的通信方案中蕴藏着非常好的通信编码方案（在不考虑编译码复杂度的情况下（那个年代基本不敢对复杂度特别挑，n^2logn复杂度的方案也甘之如饴，宇宙深空通信你收到宇宙飞船的信号立方复杂度你就嫌复杂啦？赶紧用命去解码），随机构造出来的码的性能的期望大致和理论最佳方案的性能上界相差无几，你可以理解在通信的学科的某些问题里，随机乱走棋的alpha go在棋盘非常大时棋力和围棋之神相差无几。），所以大家开始使用一些有随机结构的方法来构造码，虽然这类方法没有什么特别让数学爱好者们心动的新算法或码结构出现（例如Guruswami-Sudan list decoding algorithm这种可以反哺其他诸如计算复杂度之类的学科的算法结果）,但是工程界的结果一直在稳步朝香农当年所预言的性能指标迈进（05年ldpc已经有距离香农界0.01db以内的结果了）。。无数编码学家发现自己该失业了：过去为这个学科准备的数学知识都排不上用场了，工程师们都在玩随机交织之类的方案像玩玩具似的交织+打孔构造各种强力turbo码（非常类似于现在各种小学生用tensorflow各种调参训练各种模型一样），也构造用于存储的高码率ldpc或者低密度生成码，业界需要的只是调参工程师（当然也有像linshu这样的华人之光引入了代数ldpc码，打开了另外一扇窗口），，直到极化码（polar码，5G控制信道中短码的一种可选方案）的出现，重新给了编码学者们一个新的数学玩具。他几乎不再需要调参，仅仅从理论上即可证明自己可以达到香农的性能，只是时延稍大（其实和他的竞争对手相比，蛮致命的），编译码复杂度都是nlogn（有一些变化方案复杂度会高些）。数学性非常强，无需引入随机方法，但是性能分析和证明方面需要一些随机过程分析，鞅这类过去没有引入过这个学科的一些数学工具，已经基本看不到高等代数的身影。非常多的较为年轻的代数编码学者都转向了极化码：印度人（包括他们收的中国徒弟），俄罗斯人，也包括我师门内认识的国人，好多我过去看到的代数编码常客都蜂拥而至，给极化码带来一些新的视点和角度。华为2012我估计也是因为这一波大潮被极化码绑架的：毕竟极化码太容易出paper了（2013年信息论大会直接就让极化码作者的大学举办），那个时间点的研究员肯定会举手赞成all in 极化码。说了那么多，我来给你说说我们这学科的鄙视链：polar码->ldpc码（5G）->turbo码（3G，4G）（记得拉香农祖师来壮胆和群嘲，否则实在无法解释自己的牛逼，因为牛逼的太没数学道理了）->代数几何码和goppa码->硬盘光盘raid二维码用的reed-solomon码->闪存ecc以及对讲机用的bch码 越到后面就是被鄙视的来基本没有什么学术界的人去研究了。数学要求最高的代数几何码其实有段时间是被鄙视的最狠的：毕竟这个学科当年差点被人认为died了，就是因为太多主流研究方向都在沿着代数几何这类高深纯数学化发展，导致越来越少人投入精力到这个学科了。十分悲伤的就是，笔者当年是反着这条鄙视链研究慢慢深入上去的（老师对我的培养比较正统化，基本沿着学科发展的时间顺序带我入门的），还好没有在代数几何那些代数曲线上花特别多功夫，在reed-solomon码上研究出来点结果成功毕业。毕业时最终大彻大悟就是答案：还是去当码农养家比较实在啊（不过这些年还是一直对polar，goppa，reed-solomon放不下，听到阿里出了个polardb就颇有好感）。