随笔分类 - 4_机器学习书籍及杂（西瓜书、机器学习实战、统计学习方法、百面机器学习等）
摘要：持续学习 (continual learning/ life-long learning)略讲 一、总结 一句话总结： 可塑性：如何能把之前任务的经验用上，使得更快更好的学习当前任务； 稳定性：学习当前任务时，不会忘记之前已经学会的任务。 用更专业的术语来讲就是可塑性（学习新知识的能力）和稳定性（旧
阅读全文
摘要：什么是meta-learning 一、总结 一句话总结： 虽然我要做的这个数据集数据很少，但是我有很多其它数据很多的数据集呀。如果模型可以先在其它数据比较多的数据集上学到这些有关“该如何学习新的知识”的先验知识，由此让模型先学会“如何快速学习一个新的知识”，岂不美哉 1、传统的机器学习是在干嘛？ 有
阅读全文
摘要：李宏毅-Network Compression课程笔记 一、总结 一句话总结： 就是网络压缩，把大的网络结构压缩成小的网络结构，便于资源少的设备使用 1、为什么要做迁移学习？ 迁移到手机、机器人、手表等Resource-limited的一些设备 1、limited memory space 内存空间
阅读全文
摘要：修改一个像素，让神经网络识别图像出错 一、总结 一句话总结： 微小扰动非常敏感：最近研究表明，DNN 的输出并不是连续的，它对输入向量上的微小扰动也非常敏感，并且我们已经依据若干种方法对神经网络造成有效扰动。 差分进化（differential evolution）：在本论文中，我们基于差分进化（d
阅读全文
摘要：对抗攻击领域综述（adversarial attack） 一、总结 一句话总结： 对抗攻击英文为adversarial attack。即对输入样本故意添加一些人无法察觉的细微的干扰，导致模型以高置信度给出一个错误的输出。 1、对抗攻击的意义？ 我们不知道神经网络提取到的特征点：深度神经网络对输入图片
阅读全文
摘要：Explainable AI旨在提高机器学习模型的可解释性 一、总结 一句话总结： 可解释性：Explainable AI旨在提高机器学习模型的可解释性。 不通俗易懂：它不会以通俗易懂的方式来解释事物，但是该分析对于首先构建机器学习模型的数据科学家和开发人员仍然有用。 解释基于模型性质和训练数据：可
阅读全文
摘要：强化学习 基础 一、总结 一句话总结： 我们选择了动作At后，环境的状态(State)会变，我们会发现环境状态已经变为St+1,同时我们得到了我们采取动作At的延时奖励(Reward)Rt+1。 然后个体可以继续选择下一个合适的动作，然后环境的状态又会变，又有新的奖励值。。。这就是强化学习的思路。
阅读全文
摘要：机器学习 vae是什么（简介） 一、总结 一句话总结： VAE 模型是一种有趣的生成模型，与GAN相比，VAE 有更加完备的数学理论（引入了隐变量），理论推导更加显性，训练相对来说更加容易。 VAE(Variational Autoencoder) 全名叫 变分自编码器，是从之前的 auto-enc
阅读全文
摘要：200927_深度学习 1、生成对抗网络笔记训练过程 一、总结 一句话总结： 固定对抗网络的时候调生成网络：调生成网络参数（前几层），使最后的生成值尽量大 固定生成网络的时候调对抗网络：调对抗网络参数（后几层），使最后的生成值尽量小 1、生成对抗网络 结构？ 比如10层，前5层是生成网络，后5层是对
阅读全文
摘要：Dropout VS Batch Normalization 一、总结 一句话总结： (1)、总体来说，BN在准确率和损失率上表现要优于Dropout，比如准确率上BN能达到85%，而Dropout接近为79%。 (2)、Dropout是过去几年非常流行的正则化技术，可有效防止过拟合的发生。但从深度
阅读全文
摘要：Batch Normalization 一、总结 一句话总结： (I)、BN的作用就是将这些输入值进行标准化，降低scale的差异至同一个范围内。 (II)、这样做的好处在于一方面提高梯度的收敛程度，加快训练速度； (III)、另一方面使得每一层可以尽量面对同一特征分布的输入值，减少了变化带来的不确
阅读全文
摘要：权重初始化的选择 一、总结 一句话总结： ①)、随机分布权重：均匀分布：从结果可知，若我们的输入是10000个特征点，那么a= ∑10000wixi + b，且|a|>1的概率很大（结果为16.111116）。可想而知，不采用激活函数或relu函数，则有梯度爆炸的可能性；若采用sigmoid激活函数
阅读全文
摘要：机器学习中线性模型和非线性的区别 一、总结 一句话总结： 1)、线性和非线性的区别是是否可以用直线将样本划分开(这个观点是对的) 2)、线性模型可以是用曲线拟合样本，但是分类的决策边界一定是直线的，例如logistics模型 3)、区分是否为线性模型，主要是看一个乘法式子中自变量x前的系数w,如果w
阅读全文
摘要：神经网络激励函数的作用是什么 一、总结 一句话总结： sigmoid激活函数可以引入非线性因素，让模型学习到一个分类平面，得到一个非线性的决策边界，如下图 二、机器学习中线性函数与非线性函数的区别 转自或参考：机器学习中线性函数与非线性函数的区别http://blog.csdn.net/WONITA
阅读全文
摘要：深度学习中，交叉熵损失函数为什么优于均方差损失函数 一、总结 一句话总结： A)、原因在于交叉熵函数配合输出层的激活函数如sigmoid或softmax函数能更快地加速深度学习的训练速度 B)、因为反向传播过程中交叉熵损失函数得到的结果更加简洁，无论sigmoid或softmax，可以定量分析。 1
阅读全文
摘要：偏差和方差 一、总结 一句话总结： 偏差（bias）：偏差衡量了模型的预测值与实际值之间的偏离关系。 方差（variance）：方差描述的是训练数据在不同迭代阶段的训练模型中，预测值的变化波动情况（或称之为离散情况）。 1、偏差和方差对应的实际情况实例？ [一]、低偏差，低方差：这是训练的理想模型，
阅读全文
摘要：Keras中图像增强技术详解 一、总结 一句话总结： 在Keras中使用图像增强技术，对图片可以进行各种操作，以生成数倍于原图片的增强图片集。这些数据集可帮助我们有效地对抗过拟合问题，更好地生成理想的模型。 1、数据量少带来的最直接影响就是过拟合。那有没有办法在现有少量数据基础上，降低或解决过拟合问
阅读全文
摘要：什么是线性变换和非线性变换 一、总结 一句话总结： [①]、从数值意义上，变换即函数，线性变换就是一阶导数为常数的函数，譬如y=kx，把y=kx拓展为n维空间的映射，x、y看做n维向量，当k为常数时，易得满足同质性f(ka)=kf(a)，当k为一个矩阵时，易得满足可加性f(a+b)=f(a)+f(b
阅读全文
摘要：Global Average Pooling是否可以替代全连接层 一、总结 一句话总结： (A)、Global Average Pooling(简称GAP，全局池化层)技术被认为是可以替代全连接层的一种新技术。 (B)、在keras发布的经典模型中，可以看到不少模型甚至抛弃了全连接层，转而使用GAP
阅读全文
摘要：TensorFlow优化模型之正则化 一、总结 一句话总结： 一)、正则化：是一种常用的为了避免过度拟合而采用的一种算法。正则化的主要思想是通过在损失函数中加入刻画模型复杂程度的指标， 二)、无论是L1正则化还是L2正则化，两者的目的都是通过限制权重的大小，来使得模型不能任意的拟合训练数据中的随机噪
阅读全文
浙公网安备 33010602011771号