pgl6

摘要： 1、Mini—batch梯度下降法（Mini-batch gradient descent) Mini-batch梯度下降是梯度下降的一种变体，广泛应用于机器学习中，特别是在神经网络的训练中。它在批量梯度下降（Batch Gradient Descent）和随机梯度下降（Stochastic Gra 阅读全文

摘要： 1、训练集、验证集、测试集（Train/Dev/Test sets） 在配置训练（train）、验证（devlopment）和测试（test）数据集的过程中做出正确决策在很大程度上会帮助大家创建高效的神经网络。训练神经网络时我们需要做很多决策，如神经网络的层数、每个隐藏层包含的隐藏单元、学习因子（学 阅读全文

摘要： 1、深层神经网络 深层神经网络其实就是包含更多的隐藏层神经网络。注意，神经网络的层数是从左到右，由0开始定义。 对于任何给定的问题很难去提前预测到底需要多深的神经网络，所以先去尝试逻辑回归，尝试一层然后两层隐含层，然后把隐含层的数量看做是另一个可以自由选择大小的超参数，然后再保留交叉验证数据上评估， 阅读全文

摘要： 1、神经网络概览 什么是神经网络？如下图： 神经网络的结构与逻辑回归类似，只是神经网络的层数比逻辑回归多一层，多出来的中间那层称为隐藏层或中间层。从计算上来看，神经网络的正向传播和反向传播比logistic回归多了一次重复的计算。引入新的标签：方括号上标[i]表示当前所处的层数；圆括号上标(i)表示 阅读全文

摘要： 1、二分类 logistic回归是一个用于二分类（Binary Classification）的算法。二分类就是输出结果y只有0和1两个标签（也有-1和1的情况）。以一个图像识别为例，例如识别猫，1代表猫，0代表不是猫。用y表示输出的结果标签。 在二分类问题中，目标是训练一个分类器，它以图片的特征向 阅读全文

摘要： 1、什么是神经网络 简单来说，深度学习（Deep Learning）就是更复杂的神经网络（Neural Network） eg：从预测房价开始，自变量x：size of house，因变量y：price，根据这些输入输出来建立房价预测模型，来预测房价：y=f(x)。也许可以把这个房屋价格加一个拟合函 阅读全文

摘要： 决策1：如何选择在每个节点上分割什么特征？ 最大限度地提高纯度（或最小限度地减少不纯）。 决策2：什么时候停止拆分？ 当一个节点是一个单一类时 当拆分一个节点会导致树超过最大的深度 当纯度分数的改进低于一个阈值（获得的信息增益很小小于阈值） 当一个节点中的例子数量低于一个阈值 6.1 衡量纯度、熵e 阅读全文

摘要： 5.1 使用测试集评估模型性能 划分训练集和测试集，比例：8/2, 7/3 计算Jtest 、Jtrain 衡量模型在测试集合训练集上的、不包括正则化项 对于线性回归问题： 对于分类问题 Jtest(W,b)是测试集中被错误分类的部分。Jtrain(W,b)是训练集中被错误分类的部分。 5.2 模型 阅读全文

摘要： 4.1 认识神经网络 必要性 当特征值只有两个时，我们仍可以用之前学过的算法去解决 但当特征值很多，且含有很多个多次多项式时，用之前的算法就很难解决了例子 ：图像感知 Recogonition image计算机识别汽车是靠像素点的亮度值 神经网络做法： 4.2 如何在神经网络上推理 4.2.1 神经 阅读全文

摘要： 3.1 线性回归对于分类问题的局限性 由于离群点的存在，线性回归不适用于分类问题。如下图（阈值为0.5），由于最右离群点，再用线性回归与实际情况不拟合。引入 逻辑回归（logistic regression） 算法，来解决这个问题。 逻辑回归模型 3.2 决策边界 decision boundary 阅读全文