机器学习角度重新认识矩阵
摘要：
我们一直对矩阵的认识都只是停留在书本上，从来没和实际结合起来，也没有从应用和实践的角度理解数学的本质，数学的本质就是解决问题，更简单直接的解决问题。 上图为简单的矩阵计算的题，通过以下两种方式理解矩阵： 通过行视图可以理解为凸优化问题中的超平面，这个问题在运筹学中比较常见，可以看做优化问题寻找交集。 阅读全文
posted @ 2020-04-08 16:38 limingqi 阅读(843) 评论(0) 推荐(0)
RNN、lstm和GRU推导
摘要：
RNN：（Recurrent Neural Networks）循环神经网络 第<span id="MathJax-Span-2" class="mrow"><span id="MathJax-Span-3" class="texatom"><span id="MathJax-Span-4" clas 阅读全文
posted @ 2020-04-05 19:34 limingqi 阅读(1093) 评论(0) 推荐(0)
最优化方法之AdaGrad、RMSProp、Adam
摘要：
结论： 1.简单来讲，设置全局学习率之后，每次通过，全局学习率逐参数的除以历史梯度平方和的平方根，使得每个参数的学习率不同 2.效果是：在参数空间更为平缓的方向，会取得更大的进步（因为平缓，所以历史梯度平方和较小，对应学习下降的幅度较小） 3.缺点是,使得学习率过早，过量的减少 4.在某些模型上效果 阅读全文
posted @ 2020-04-02 11:50 limingqi 阅读(541) 评论(0) 推荐(0)
最优化算法Nesterov Momentum牛顿动量法
摘要：
这是对之前的Momentum的一种改进,大概思路就是,先对参数进行估计,然后使用估计后的参数来计算误差 具体实现: 需要:学习速率 ϵ, 初始参数 θ, 初始速率v, 动量衰减参数α每步迭代过程: 阅读全文
posted @ 2020-04-01 19:05 limingqi 阅读(1185) 评论(0) 推荐(0)
最优化算法动量法Momentum
摘要：
动量法的结论： 1.动量方法主要是为了解决Hessian矩阵病态条件问题（直观上讲就是梯度高度敏感于参数空间的某些方向）的。 2.加速学习 3.一般将参数设为0.5,0.9，或者0.99，分别表示最大速度2倍，10倍，100倍于SGD的算法。 4.通过速度v，来积累了之间梯度指数级衰减的平均，并且继 阅读全文
posted @ 2020-04-01 18:43 limingqi 阅读(2299) 评论(0) 推荐(0)
SMOTE算法解决样本不平衡
摘要：
首先，看下Smote算法之前，我们先看下当正负样本不均衡的时候，我们通常用的方法： 抽样 常规的包含过抽样、欠抽样、组合抽样 过抽样：将样本较少的一类sample补齐 欠抽样：将样本较多的一类sample压缩 组合抽样：约定一个量级N，同时进行过抽样和欠抽样，使得正负样本量和等于约定量级N 这种方法 阅读全文
posted @ 2020-03-26 19:50 limingqi 阅读(5743) 评论(0) 推荐(0)
LSTM实现手写数据集
摘要：
import numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltimport pandas as pd#导入mnist数据mnist = pd.read_data_sets("data/", one_hot=True)# 阅读全文
posted @ 2020-03-23 21:37 limingqi 阅读(1396) 评论(0) 推荐(0)
特征转换之python代码
摘要：
一、连续型变量1.1 连续变量无量纲化（1）无量纲化： 使不同规格尺度的数据转化统一规格尺度（将数据单位统一）（2）无量纲化方法：标准化, 区间所方法 标准化： 将连续性变量转变为 均值0 标准差1 的变量 代码： #对 Amount字段--均值为0，方差为1标准化from sklearn impo 阅读全文
posted @ 2020-03-20 10:11 limingqi 阅读(898) 评论(0) 推荐(0)
最长递增子序列长度
摘要：
#coding=utf-8import sysn = int(input())nums = [int(x) for x in input().split()]'''dp[i]以nums[i]结尾的最长递增子序列长度if nums[i]>nums[j]说明nums[i]能加到nums[j]后面dp[i 阅读全文
posted @ 2020-03-16 17:02 limingqi 阅读(259) 评论(0) 推荐(0)
浙公网安备 33010602011771号