limingqi - 博客园

最优化方法之AdaGrad、RMSProp、Adam

摘要：结论： 1.简单来讲，设置全局学习率之后，每次通过，全局学习率逐参数的除以历史梯度平方和的平方根，使得每个参数的学习率不同 2.效果是：在参数空间更为平缓的方向，会取得更大的进步（因为平缓，所以历史梯度平方和较小，对应学习下降的幅度较小） 3.缺点是,使得学习率过早，过量的减少 4.在某些模型上效果阅读全文

posted @ 2020-04-02 11:50 limingqi 阅读(528) 评论(0) 推荐(0)

最优化算法Nesterov Momentum牛顿动量法

摘要：这是对之前的Momentum的一种改进,大概思路就是,先对参数进行估计,然后使用估计后的参数来计算误差具体实现: 需要:学习速率 ϵ, 初始参数 θ, 初始速率v, 动量衰减参数α每步迭代过程: 阅读全文

posted @ 2020-04-01 19:05 limingqi 阅读(1149) 评论(0) 推荐(0)

最优化算法动量法Momentum

摘要：动量法的结论： 1.动量方法主要是为了解决Hessian矩阵病态条件问题（直观上讲就是梯度高度敏感于参数空间的某些方向）的。 2.加速学习 3.一般将参数设为0.5,0.9，或者0.99，分别表示最大速度2倍，10倍，100倍于SGD的算法。 4.通过速度v，来积累了之间梯度指数级衰减的平均，并且继阅读全文

posted @ 2020-04-01 18:43 limingqi 阅读(2228) 评论(0) 推荐(0)

SMOTE算法解决样本不平衡

摘要：首先，看下Smote算法之前，我们先看下当正负样本不均衡的时候，我们通常用的方法：抽样常规的包含过抽样、欠抽样、组合抽样过抽样：将样本较少的一类sample补齐欠抽样：将样本较多的一类sample压缩组合抽样：约定一个量级N，同时进行过抽样和欠抽样，使得正负样本量和等于约定量级N 这种方法阅读全文

posted @ 2020-03-26 19:50 limingqi 阅读(5689) 评论(0) 推荐(0)

LSTM实现手写数据集

摘要： import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltimport pandas as pd#导入mnist数据mnist = pd.read_data_sets("data/", one_hot=True)# 阅读全文

posted @ 2020-03-23 21:37 limingqi 阅读(1370) 评论(0) 推荐(0)

特征转换之python代码

摘要：一、连续型变量1.1 连续变量无量纲化（1）无量纲化：使不同规格尺度的数据转化统一规格尺度（将数据单位统一）（2）无量纲化方法：标准化, 区间所方法标准化：将连续性变量转变为均值0 标准差1 的变量代码： #对 Amount字段--均值为0，方差为1标准化from sklearn impo 阅读全文

posted @ 2020-03-20 10:11 limingqi 阅读(862) 评论(0) 推荐(0)

最长递增子序列长度

摘要： #coding=utf-8import sysn = int(input())nums = [int(x) for x in input().split()]'''dp[i]以nums[i]结尾的最长递增子序列长度if nums[i]>nums[j]说明nums[i]能加到nums[j]后面dp[i 阅读全文

posted @ 2020-03-16 17:02 limingqi 阅读(247) 评论(0) 推荐(0)

决策树缺失值处理

摘要：现实生活中的数据集中的样本通常在某系属性上是缺失的，如果属性值缺失的样本数量比较少，我们可以直接简单粗暴的把不完备的样本删除掉，但是如果有大量的样本都有属性值的缺失，那么就不能简单地删除，因为这样删除了大量的样本，对于机器学习模型而言损失了大量有用的信息，训练出来的模型性能会受到影响。这篇博客就来介阅读全文

posted @ 2020-03-12 15:54 limingqi 阅读(2242) 评论(0) 推荐(0)

决策树剪枝

摘要：首先剪枝（pruning）的目的是为了避免决策树模型的过拟合。因为决策树算法在学习的过程中为了尽可能的正确的分类训练样本，不停地对结点进行划分，因此这会导致整棵树的分支过多，也就导致了过拟合。决策树的剪枝策略最基本的有两种：预剪枝（pre-pruning）和后剪枝（post-pruning）：预剪阅读全文

posted @ 2020-03-12 13:57 limingqi 阅读(2625) 评论(0) 推荐(0)

二叉树层次遍历下到上，左到右python

摘要： # 利用队列进行层次遍历就行class TreeNode: def __init__(self, x): self.val = x self.left = None self.right = Noneclass Solution: def Print(self, pRoot): if not pRo 阅读全文

posted @ 2020-03-12 11:10 limingqi 阅读(428) 评论(0) 推荐(0)