随笔分类 - 4_机器学习书籍及杂（西瓜书、机器学习实战、统计学习方法、百面机器学习等）
摘要：Autoencoders(自编码器) 一、总结 一句话总结： a)、【无监督学习】：自编码器是一种能够通过无监督学习，学到输入数据高效表示的人工神经网络。 b)、【输出与输入数据相似生成模型】：此外，自编码器还可以随机生成与训练数据类似的数据，这被称作生成模型（generative model）。比
阅读全文
摘要：自编码器（Autoencoders） 一、总结 一句话总结： a)、【无监督学习】：自编码器是一种能够通过无监督学习，学到输入数据高效表示的人工神经网络。 b)、【输出与输入数据相似生成模型】：此外，自编码器还可以随机生成与训练数据类似的数据，这被称作生成模型（generative model）。比
阅读全文
摘要：Adam 优化算法详解 一、总结 一句话总结： Adam Optimizer是对SGD的扩展，可以代替经典的随机梯度下降法来更有效地更新网络权重。 Adam使用动量和自适应学习率来加快收敛速度。 二、Adam 优化算法详解 转自或参考： 据牛津字典的定义，优化是指最好或最有效地利用一种情况或资源，或
阅读全文
摘要：卷积基本定义 一、总结 一句话总结： A、【两个函数f 和g 生成第三个函数】：卷积(英语：Convolution)是通过两个函数f 和g 生成第三个函数的一种数学算子 B、【重叠部分函数值乘积对重叠长度的积分】：函数f 与g经过翻转和平移的重叠部分函数值乘积对重叠长度的积分 C、卷积公式：$$\i
阅读全文
摘要：神经网络反向传播更新原理 一、总结 一句话总结： A、输入x (w1和b2)-->中间输出h（省略很多层） (wi和bi)-->输出y-->loss函数 B、现在的需求是loss取最小值，可以求出loss对所有参数的梯度，让沿梯度下降的方向更新参数，例如w1= w1-lr*∂(loss)/∂(w1)
阅读全文
摘要：神经网络激活函数softmax，sigmoid，tanh，relu总结 一、总结 一句话总结： 常见激活函数：softmax、sigmoid、tanh、relu 二、【神经网络】激活函数softmax，sigmoid，tanh，relu总结 转自或参考：【神经网络】激活函数softmax，sigmo
阅读全文
摘要：小白都能看懂的softmax详解 一、总结 一句话总结： softmax把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1 二、小白都能看懂的softmax详解 转自或参考：小白都能看懂的softmax详解https://blog.csdn.net/bitcarm
阅读全文
摘要：损失函数基础知识总结 一、总结 一句话总结： I、损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度， II、损失函数是一个非负实值函数, III、损失函数通常使用L(Y, f(x))来表示， IV、损失函数损失函数越小，模型的鲁棒性就越好。 1、损失函数、代
阅读全文
摘要：为什么选择onehot编码（总结） 一、总结 一句话总结： 对于平行分类，普通编码方式会体现大小关系，并且取平均啥的也很糟糕，onehot编码可以很好的避免这些问题 根据标签编码的类别值，我们的迷你数据集中VW > Acura > Honda。比方说，假设模型内部计算平均值（神经网络中有大量加权平均
阅读全文
摘要：防止神经网络过拟合的常用的四种方法 一、总结 一句话总结： 1、获取更多的训练数据：很显然，训练数据越多，泛化能力自然也越好，这个是最优的方法。 2、减小网络容量：使用小型网络，会迫使网络学习数据中最关键的部分 3、添加权重正则化：即L1，L2正则化。如果一件事情有两种解释，那么最可能正确的解释就是
阅读全文
摘要：tensorflow2知识总结（杂） 3、如何提高网络的拟合能力 一、总结 一句话总结： 1、增加层（增加层的效果比增加隐藏神经元的效果好） 2、增加隐藏神经元个数 1、什么是网络容量 及相关？ a、网络容量可以认为与网络中的可训练参数成正比 b、网络中的神经单元数越多，层数越多，神经网络的拟合能力
阅读全文
摘要：机器学习200725系列 2、逻辑回归实例 一、总结 一句话总结： lr=Pipeline([("sc",StandardScaler()),("cLf",LogisticRegression())]) 1、logistic回归在什么情况下是一个线性函数？ 是对数函数的情况下，可以公式推导 2、ma
阅读全文
摘要：梯度下降与随机梯度下降概念及推导过程 一、总结 一句话总结： 梯度通俗理解：我们对一个多元函数求偏导,会得到多个偏导函数.这些导函数组成的向量,就是梯度. 1、利用梯度下降法求解梯度的过程？ 1、随机一个初始值,在多元线性回归中,我们随机一组w,带入到损失函数中,得到一个初始点. 2、让这个点按照负
阅读全文
摘要：多元线性回归求解过程 解析解求解 一、总结 一句话总结： a、多元线性回归求解过程 解析解求解得到的表达式是θ=(X.T*X)^(-1) * (X.T*X)，这样就可以求的ax+b中的a b、核心代码：theta_best = np.linalg.inv(X_b.T.dot(X_b)).dot(X_
阅读全文
摘要：多元线性回归推导过程 一、总结 一句话总结： I、多元线性回归就是:用多个x(变量或属性)与结果y的关系式 来描述一些散列点之间的共同特性. II、y= w0x0 + w1x1 + w2x2 + ... + wnxn (0到n都是下标哦) III、向量W= [w1,w2...wn]是行向量,向量X=
阅读全文
摘要：逻辑回归 总结 一、总结 一句话总结： A、logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。 B、例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例，选择两组人群，一组是胃癌组，一组是非胃
阅读全文
摘要：解释logistic回归为什么要使用sigmoid函数 一、总结 一句话总结： 1、不是因为sigmoid有很多优秀的性质，然后在1ogistic回归模型建立的时候，从而使用sigmoid函数，这样是不合理的，因为在数学当中sigmoid是一个函数族。具备sigmoid函数这样的性质的函数有很多。s
阅读全文
摘要：逻辑回归(logistics regression) 总结 一、总结 一句话总结： A、logistics regression是用来做分类任务的 B、逻辑回归(logistics regression)的损失函数交叉熵损失函数 1、多元线性回归？ 多元线性回归是用线性的关系来拟合一个事情的发生规律
阅读全文
摘要：梯度下降法和随机梯度下降法 一、总结 一句话总结： 批量梯度下降法（Batch Gradient Descent）：在更新参数时使用所有的样本来进行更新 随机梯度下降法（Stochastic Gradient Descent）：求梯度时没有用所有的m个样本的数据，而是仅仅选取一个样本j来求梯度。 小
阅读全文
摘要：机器学习200725系列 1、线性回归实例 一、总结 一句话总结： 用的是sklearn库的linear_model，核心代码：linreg=LinearRegression() #一、加载数据集 pd.read_csv（"*****”） #二、分割数据集 train_test_split（） #三
阅读全文
浙公网安备 33010602011771号