里列昂遗失的记事本

摘要： 变分自动编码器 Diederik Kingma和Max Welling于2013年推出了自动编码器的另一个重要类别，并迅速成为最受欢迎的自动编码器类型之一：变分自动编码器 它们与目前为止的自动编码器有很大的不同，它们具有以下特殊的地方： 它们是概率自动编码器，这意味着即使在训练后，它们的输出会部分由 阅读全文

摘要： 稀疏自动编码器 另一种会导致良好特征提取的约束是稀疏性：通过在成本函数中添加适当的函数项，强迫自动编码器减少编码层中活动神经元的数量。例如，可以强迫其在编码层中平均仅有5%的显著活动神经元。这迫使自动编码器将每个输入表示为少量活动神经元的组合。结果，编码层中的每个神经元最终会代表一个有用的特征 一种 阅读全文

摘要： 去噪自动编码器 强制自动编码器学习有用特征的另一种方法是向其输入中添加噪声，训练它来恢复原始的无噪声输入。这个想法自1980年代开始就存在（在Yann LeCun 1987年的硕士论文中提到过）。在2008年的论文中，Pascal Vincent等人表明自动编码器也可以用于特征提取。在2010年的论 阅读全文

摘要： 循环自动编码器 如果要为序列构建自动编码器，例如时间序列和文本（例如，用于无监督学习或降维），那么递归神经元可能比密集网络更合适。构建循环自动编码器非常简单直接：编码器通常是序列到向量的RNN，它将输入序列压缩为单个向量。解码器是向量到序列RNN，做相反的处理： from tensorflow im 阅读全文

摘要： 卷积自动编码器 如果要处理图像，目前为止的自动编码器都无法很好的工作（除非图像非常小），卷积神经网络比密集网络更适合处理图像。如果要为图像构建自动编码器（例如，用于无监督预训练或降维），则需要构建卷积自动编码器。编码器是由卷积层和池化层组成的常规CNN。它通常会减小输入的空间尺寸（即高度和宽度），同 阅读全文

摘要： 堆叠式自动编码器 自动编码器可以具有多个隐藏层。在这种情况下，它们被称为堆叠式自动编码器（或深度自动编码器）。添加更多的层有助于自动编码器学习更多的复杂的编码。就是说，要注意不要使自动编码器过于强大。想象一个强大的编码器，它只是学会了把每个输入映射到单个任意数字（而解码器则学习反向映射）。显然这样的 阅读全文

摘要： 支持函数式编程的包 Python的目标不是变成函数式语言，但是得益于operator和functools等包的支持，函数式编程风格也可以信手拈来 operator模块 在函数式编程中，经常需要把算术运算符当作函数使用。例如，不适使用递归计算阶乘。求和可以使用sum函数，但是求积没有这样的函数。可以使 阅读全文

摘要： 函数注解 Python 3提供了一种句法，用于为函数声明中的参数和返回值附加元数据 # 有注解的clip函数 def clip(text: str, max_len: 'int>0' = 80) -> str: # max_len参数的注解是字符串 '''在max_len前面或后面的第一个空格处截断 阅读全文

摘要： 获取关于参数的信息 HTTP微框架Bobo有个使用内省函数的例子 # Bobo直到hello需要person参数，并且从HTTP请求中获取它 import bobo @bobo.query('/') def hello(person): return 'Hello %s!' % person bob 阅读全文

摘要： 使用不完整的线性自动编码器执行PCA 如果自动编码器仅使用线性激活，并且成本函数是均方误差MSE，则最后执行的是主成分分析（PCA） 以下代码构建了一个简单的线性自动编码器，来对3D数据集执行PCA，将其投影到2D： from tensorflow import keras encoder = ke 阅读全文