摘要： Network As Generator（网络作为生成器） 把Network当成生成使用；输入另加一个参数z，这个z为某个Distribution（分布）中抽取得来，不固定； z一般要简单，由于z不同，所以x的输出就由单一的输出变成一个复杂的Distribution（分布） 例如：x、z都为向量：输 阅读全文

摘要： Sequence To Sequence（序列对序列） 输入一个序列，输出一个序列 输出序列的长度由机器自己决定，例如：语音辨识、机器翻译、语音翻译 Sequence To Sequence一般分成两部分： Encoder:传入一个序列，由Encoder处理后传给Decoder Decoder:决定 阅读全文

摘要： self attention（自注意机制） 输入：以往神经网络的输入都是一个向量；如果现在输入的是一排向量，并且数量不唯一，应该如何处理： 例一：一句英文 One-hot Encoding：开一个长度为世界上全部词汇数的向量表示一个词汇（缺点：词汇间没关系） Word Embedding：给每个词汇 阅读全文

摘要： Convolutional Neural Network(CNN卷积神经网络) 解释一 应用于Image classification(图像分类) 一张图片如何作为一个模型的输入：一张图片可以当成三维的Tensor(维度大于等于2的矩阵)，三维分别代表图片：宽、高、channels(宽高代表像素，c 阅读全文

摘要： 结果不理想的检查步骤 情况一：模型问题 所设的模型不包含要找的函数；需要重新修改模型 可以增加模型中特征值，或者增加层数(Deep Learning)，以增加模型的复杂度 情况二：优化(optimization)没做好 没有找到模型中解决问题的最好的方法 如何判断问题出自情况一还是二： 上图右边，5 阅读全文

摘要： Backpropagation(反向传播) Cn为计算得出值与实际值的差距 如何算出Cn对z的微分：由微分形式的不变性得，Z’为a的线性函数，可以得出Z’对a微分为w3 由于C(Z’，Z’’,…)是多元函数，链式求导法则得： 由反向计算，从右向左表示为： 计算微分时就从最右侧输出层反向向前求微分，每 阅读全文

摘要： 机器学习是什么 机器学习就是让机器找出一个函数(Neural Network:神经网络) 例如输入语音，输出语音中的文字 输入：向量，矩阵（图片辨识。一张图片），序列（语音辨识，一段音频） 输出：数值，类别（分类），一段话/文章 机器学习的过程 1.猜测函数的大致形式为模型(带有未知参数的函数)：Y 阅读全文

摘要： 动态规划 动态规划算法与分治法相似，其基本思想也是讲代求解的问题分解成若干个子问题，在求解子问题，然后从这些子问题的解得到原问题的解。与分治法不同的是，适用于动态规划求解的问题，经分解得到的子问题往往不是相互独立的。若用分治法来解决，则分解得到的子问题数目太多，以至于最后解决原问题需要消耗指数时间。 阅读全文

摘要： 递归与分治策略 递归的概念 一个直接或间接地调用自身的算法成为递归算法。 在计算机算法设计与分析中，使用递归技术往往使函数的定义和算法的描述简洁且易于理解。有些数据如二叉树等，由于本身固有的递归特性，特别适合用递归的形式来描述 还有一些问题，虽然自身没有明显的递归结构，但用递归技术来求解设计的算法简 阅读全文

摘要： 归并排序 归并排序的原理就是将两个有序表合成一个有序表 二路归并排序原理 假设初始序列有n个记录，则可以看成n个有序的子序列，每个子序列的长度为1 然后两两归并，得到┌n/2┐个长度为2或1的有序子序列；再次两两归并，... 如此重复，直到得到一个长度为n的有序序列为止 递归实现 1 #includ 阅读全文