飞扬的博客

摘要： 一、问题描述 前面我们讨论了使用线性模型进行回归学习，但是要做分类任务怎么办？只需要找一个单调可微函数将任务分类的真实标记 y 与线性回归模型的预测值联系起来。 考虑二分类任务，其输出应该是 y 属于[0, 1]。而线性回归模型产生的预测值 z = wx+b是实值。于是我们考虑将 z 转换到 0 / 阅读全文

摘要： 一、引起过拟合的原因 训练数据过少，训练数据的分布不能表示整体样本的分布。 特征过多。特征太多其实也属于模型复杂。 模型过于复杂。高阶多项式。 二、缓解过拟合的方法——正则化 正则化的本质是使模型简单，解决了特征过多，模型过于复杂的问题。 本质是对权重W的约束。y=wx，当w变小时，相应的x就没有意 阅读全文

摘要： 为了获得对模型性能的无偏估计，在训练过程中使用未知数据对测试进行评估是至关重要的。所以，需要将数据集划分为训练数据集和测试数据集，前者用于模型的训练，后者用户模型在未知数据上泛化性能的评估。 对于线性模型 一、残差图 当m>1时，模型使用了多个解释变量，无法在二维坐标上绘制线性回归曲线。那么如何对回 阅读全文

摘要： 1. 基本形式 线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数。 w和b学得之后，模型就得以确定。w直观表达了各属性在预测中的重要性。 2. 线性回归 提出假设：给定数据集 ，其中， “线性回归”（linear regression）试图学得一个线性模型以尽可能准 阅读全文

摘要： 神经网络的逻辑单元表示 神经网络的每个逻辑单元，都是一个sigmoid函数。 神经网络本质是这些神经元的堆叠 输入层称为 input layer，输出层称为 output layer, 中间层称为 hidden layer 是第 j 层的第 i 个神经元 控制着从 j 层到 j+1 层神经元的权重矩 阅读全文

摘要： 为什么需要神经网络？ 当我们对如下数据进行使用非线性回归分类时，我们可以使用包含很多非线性项的逻辑回归函数，来回归分类。下面是只有X1, X2两个特征的逻辑回归函数。 但是，如果数据包含上百个特征时呢？例如包含上百个特征的房屋分类问题，或者图像识别领域。例如：（x1, x2, x3, ... x10 阅读全文