摘要：
一、问题 主方向的概念是什么？为什么降低维度的方法是使方差最大化？ 假设某两个特征之间成线性关系，在二维平面上的表示就是数据点呈线性分布，那么可以通过将数据在主方向上进行投影，得到一个一维的数据，这个一维的数据保留了原始数据大部分的信息. 两个特征之间成线性关系，但是由于一些噪声的影响，所以数据分布 阅读全文
posted @ 2018-04-03 12:05
天涯惟笑
阅读(201)
评论(0)
推荐(0)
摘要：
一、高斯混合模型 软分类算法，即对每一个样本，计算其属于各个分布的概率，概率值最大的就是这个样本所属的分类。 对于训练样本的分布，看成为多个高斯分布加权得到的。其中每个高斯分布即为某一特定的类。 高斯混合模型和高斯判别分析非常像，唯一的区别就是在高斯混合模型中，每个样本所属的类别标签是未知的。 为了 阅读全文
posted @ 2018-04-03 12:04
天涯惟笑
阅读(255)
评论(0)
推荐(0)
摘要：
一、协方差矩阵 协方差矩阵为对称矩阵。 在高斯分布中，方差越大，数据分布越分散，方差越小发，数据分布越集中。 在协方差矩阵中，假设矩阵为二维，若第二维的方差大于第一维的方差，则在图像上的体现就是：高斯分布呈现一个椭圆形，且主轴对应的就是方差大的第二维度。简而言之，若对角线元素相等，则高斯分布的图形是 阅读全文
posted @ 2018-04-03 12:04
天涯惟笑
阅读(2079)
评论(0)
推荐(0)
摘要：
偏差方差权衡 使用较小的神经网络，类似于参数较少的情况，容易导致高偏差和欠拟合，但计算代价较小使用较大的神经网络，类似于参数较多的情况，容易导致高方差和过拟合，虽然计算代价比较大，但是可以通过归一化手段来调整而更加适应数据。 通常选择较大的神经网络并采用归一化处理会比采用较小的神经网络效果要好。 对 阅读全文
posted @ 2018-04-03 11:58
天涯惟笑
阅读(220)
评论(0)
推荐(0)
摘要：
一、疑问 1. assignments2 在代码文件 FullyConnectedNets.ipynd 中，有代码如下： 此处用 np.prod 和 np.linspace 等一系列函数初始化权重w和x，与之前直接用 np.random 等函数想比略显复杂，如此初始化的好处是什么？ A： 在这个代码 阅读全文
posted @ 2018-04-03 11:47
天涯惟笑
阅读(543)
评论(0)
推荐(0)
摘要：
一、疑问 二、知识点 1. 白化 白化操作的输入是特征基准上的数据，然后对每个维度除以其特征值来对数值范围进行归一化。该变换的几何解释是：如果数据服从多变量的高斯分布，那么经过白化后，数据的分布将会是一个均值为零，且协方差相等的矩阵。该操作的代码如下： 警告：夸大的噪声。注意分母中添加了1e 阅读全文
posted @ 2018-04-03 11:46
天涯惟笑
阅读(318)
评论(0)
推荐(0)
摘要：
一、疑问 二、知识点 1. 损失函数可视化 损失函数一般都是定义在高维度的空间中，这样要将其可视化就很困难。然而办法还是有的，在1个维度或者2个维度的方向上对高维空间进行切片，例如，随机生成一个权重矩阵 ，该矩阵就与高维空间中的一个点对应。然后沿着某个维度方向前进的同时记录损失函数值的变化。换句 阅读全文
posted @ 2018-04-03 11:46
天涯惟笑
阅读(1425)
评论(0)
推荐(0)
摘要：
wiki百科：softmax函数的本质就是将一个K维的任意实数向量压缩（映射）成另一个K维的实数向量，其中向量中的每个元素取值都介于（0，1）之间。 一、疑问 二、知识点 1. softmax函数公式的意义 在softmax函数，输入向量z的值有正有负，正数表示对应的特征对分类结果是积极的，负数 阅读全文
posted @ 2018-04-03 11:45
天涯惟笑
阅读(2024)
评论(0)
推荐(0)
摘要：
一、疑问 二、常用激活函数 1. Sigmoid sigmoid将输入实数值“挤压”到0到1范围内。更具体地说，很大的负数变成0，很大的正数变成1。它对于神经元的激活频率有良好的解释：从完全不激活到在求和后的最大频率处的完全饱和（ saturated ）的激活。然而现在sigmoid函数实际很少 阅读全文
posted @ 2018-04-03 11:45
天涯惟笑
阅读(324)
评论(0)
推荐(0)
摘要：
一、疑问 1. assignments1 linear_svm.py文件的函数 svm_loss_naive中，使用循环的方式实现梯度计算 linear_svm.py文件的函数 svm_loss_vectorized中，梯度的向量化实现 SVM的损失函数在某个数据点上的计算： 对函数进行微分，比如对 阅读全文
posted @ 2018-04-03 11:44
天涯惟笑
阅读(427)
评论(0)
推荐(1)
摘要：
一、知识点 1. 计算机识别物体面临的困难 视角变化（Viewpoint variation） ：同一个物体，摄像机可以从多个角度来展现。 大小变化（Scale variation） ：物体可视的大小通常是会变化的（不仅是在图片中，在真实世界中大小也是变化的）。 形变（Deformation） ：很 阅读全文
posted @ 2018-04-03 11:43
天涯惟笑
阅读(463)
评论(0)
推荐(0)
浙公网安备 33010602011771号