随笔分类 - 4_机器学习书籍及杂（西瓜书、机器学习实战、统计学习方法、百面机器学习等）
摘要：机器学习疑难 1、什么是多元线性回归 一、总结 一句话总结： 多元线性回归就是 用多个x(变量或属性)与结果y的关系式来描述一些散列点之间的共同特性。 也可以逐词来理解：多元就是有多个变量或属性，线性就是一条线，回归就是输入变量与输出变量均为连续变量的预测问题 二、什么是多元线性回归 博客对应课程的
阅读全文
摘要：最大似然估计线性回归实例 一、总结 一句话总结： 最大似然估计的意思就是最大可能性估计,其内容为：如果两件事A,B相互独立,那么A和B同时发生的概率满足公式：P(A , B) = P(A) * P(B) 根据最大似然估计P(y) = P(x1,x2 ... xn)= P(x1) * P(x2) ..
阅读全文
摘要：Hopfield神经网络 简介 一、总结 一句话总结： 【Hopfield和BP同一时期】：BP属于前馈式类型，但是和BP同一时期的另外一个神经网络也很重要，那就是Hopfield神经网络，他是反馈式类型。这个网络比BP出现的还早一点， 【Hopfield网络的权值不是通过训练出来的，而是按照一定规
阅读全文
摘要：最小二乘法 与 均方误差的区别（总结） 一、总结 一句话总结： 基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。——周志华《机器学习》 最小二乘法作为损失函数：没有除以总样本数m；均方误差(MSE)：除以总样本数m 二、最小二乘法 与 均方误差的区别 博客对应课程的视频位置： 答案一： 最
阅读全文
摘要：极大似然估计 是什么 一、总结 一句话总结： 【利用信息反推参数值】：极大似然估计 就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！ 【模型已定，参数未知】：换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。 【让模
阅读全文
摘要：多元线性回归模型 一、总结 一句话总结： 【也就是多元且一次的回归，系数是一次自然是线性】：回归分析中，含有两个或者两个以上自变量，称为多元回归，若自变量系数为1，则此回归为多元线性回归。 1、一元线性回归 与 二元线性回归图像（要回忆图）？ 一元线性回归图形为一条直线。而二元线性回归，拟合的为一个
阅读全文
摘要：逻辑回归 到底是什么 一、总结 一句话总结： 逻辑回归就是在多元线性回归的基础上套了一个sigmoid函数 看这个公式就明白了：$$h _ { \theta } ( x ) = g ( \theta ^ { T } x ) = \frac { 1 } { 1 + e ^ { - \theta ^ {
阅读全文
摘要：《python深度学习》笔记 5.2-4、猫狗分类（数据增强） 一、总结 一句话总结： 相比于之前的基本模型，数据增强只是在对应的train_datagen的ImageDataGenerator中增加了一些数据增强的参数 可以看到，数据增强的效果非常好，测试集准确率从71提升到了83左右 train
阅读全文
摘要：《python深度学习》笔记 5.2-3、猫狗分类（基本模型） 一、总结 一句话总结： 模型的话也是比较普通的卷积神经网络，就是图像数据用的生成器：ImageDataGenerator 1、ImageDataGenerator.flow_from_directory常用参数的意思？ |||-begi
阅读全文
摘要：《python深度学习》笔记 5.2-2、猫狗分类（图片数据处理） 一、总结 一句话总结： 【将训练数据中的猫狗头像分训练集、验证集、测试集分好】：其实就是将训练数据中的猫狗头像分训练集、验证集、测试集分好，简单一点来说就是图片的复制粘贴 1、python的os模块的路径拼接和创建目录？ 路径拼接：
阅读全文
摘要：《python深度学习》笔记 5.2-1、猫狗分类（流程） 一、总结 一句话总结： 【一、：基准网络（71%）】：首先，在2000 个训练样本上训练一个简单的小型卷积神经网络，不做任何正则化，为模型目标 设定一个基准。这会得到71% 的分类精度。此时主要的问题在于过拟合。 【二、：数据增强解决过拟合
阅读全文
摘要：验证集的作用是调整超参数 一、总结 一句话总结： |||-begin验证集的作用是调整超参数，那么Keras的验证集的作用在训练过程中调整了哪些超参数？例如学习率，神经元数目，层数？|||-end 【调超参数的方法交叉验证】：调超参数的方法是cross-validation (交叉验证)，这里的va
阅读全文
摘要：验证集真正作用 一、总结 一句话总结： 验证集的作用就是为了调整超参数 1、超参数？ 【超参数的值不是学习出来的】：大多数机器学习算法都有超参数，可以设置来控制算法行为。超参数的值不是通过学习算法本身学习出来的。 【超参数如果学习太难优化】：有时一个选项被设为学习算法不用学习的超参数，是因为它太难优
阅读全文
摘要：《python深度学习》笔记 5.1、卷积神经网络简介 一、总结 一句话总结： 弄清楚为什么不同卷积核为什么得到的是不同的特征图 为什么下采样采用最大池化层（为什么不是渐进卷积层或平均池化） 1、dense层的名字？ 密集连接层 2、密集连接层和卷积层的根本区别？ Dense层是全局模式：Dense
阅读全文
摘要：《python深度学习》笔记 5、CNN的多个卷积核为什么能提取到不同的特征 一、总结 一句话总结： 过滤器的权重是随机初始化的 只有卷积核学习到不同的特征，才会减少成本函数 随机初始化的权重可能会确保每个过滤器收敛到成本函数的不同的局部最小值。每个过滤器开始模仿其他过滤器是不可能的，因为这几乎肯定
阅读全文
摘要：《python深度学习》笔记 5、卷积神经网络识别图像比密集连接层好的根本原因 一、总结 一句话总结： 平移不变性：【右下角学到某个模式之后，它可以在任何地方识别这个模式】：卷积神经网络学到的模式具有平移不变性（translation invariant）。卷积神经网络在图像 右下角学到某个模式之后
阅读全文
摘要：《python深度学习》笔记 4.5、机器学习的通用工作流程 一、总结 一句话总结： 开发过拟合的模型。 基于模型在验证数据上的性能来进行模型正则化与调节超参数 1、广泛使用的分类指标ROC AUC 就不能被直接优化？ 优化 ROC AUC 的替代指标：因此在分类任务 中，常见的做法是优化 ROC
阅读全文
摘要：《python深度学习》笔记 4.4、过拟合与欠拟合（解决过拟合常见方法） 一、总结 一句话总结： 减小网络大小 添加权重正则化 添加 dropout 正则化 1、机器学习的根本问题？ 优化和泛化之间的对立：机器学习的根本问题是优化和泛化之间的对立。 2、机器学习的根本问题是优化和泛化之间的对立：优
阅读全文
摘要：《python深度学习》笔记 4.3、数据预处理、特征工程和特征学习 一、总结 一句话总结： 神经网络的数据预处理：向量化、标准化、处理缺失 值和特征提取。 特征工程：利用你自己关于数据和机器学习算法（这里指神经网络）的知识对数据进行硬编码的变换（不是模型学到的），以改善模型的效果。 1、神经网络的
阅读全文
摘要：《python深度学习》笔记 4.1-4.2、机器学习的四个分支 一、总结 一句话总结： 弄清楚分类便于构建知识架构：监督学习、无监督学习、自监督学习、强化学习 1、虽然监督学习主要包括分类和回归，但还有更多的奇特变体，主要包括如下几种？ 序列生成（sequence generation）：给定一张
阅读全文
浙公网安备 33010602011771号