摘要: 统计学习中的相关性 皮尔逊相关系数( Pearson correlation coefficient): 度量两个变量X和Y之间的相关(线性相关) 斯皮尔曼相关性系数(spearman correlation coefficient): 先将样本转化为等级变量,如90分为等级1,然后使用上面相关系数 阅读全文
posted @ 2019-11-18 21:40 我的锅 阅读(3948) 评论(0) 推荐(0)
摘要: RNN(Recurrent Neural Network)循环神经网络。 对于CNN来说,比如图像处理,它逐渐从局部空间抽象到全局空间,有一种空间层次感,通道可以与空间一起卷积,也可以分开卷积。同时由于卷积权重共享,它可以减少参数。 对RNN来说,它擅长处理序列问题,也就是输入中存在依赖的情况,比如 阅读全文
posted @ 2019-11-18 12:03 我的锅 阅读(343) 评论(0) 推荐(0)
摘要: 自编码器可以用于降维,添加噪音学习也可以获得去噪的效果。 以下使用单隐层训练mnist数据集,并且共享了对称的权重参数。 模型本身不难,调试的过程中有几个需要注意的地方: 模型对权重参数初始值敏感,所以这里对权重参数w做了一些限制 需要对数据标准化 学习率设置合理(Adam,0.001) 1,建立模 阅读全文
posted @ 2019-11-17 17:37 我的锅 阅读(1452) 评论(3) 推荐(0)
摘要: 1,卷积作用:减少参数(卷积核参数共享),卷积过程中不断对上一个输出进行抽象,由局部特征归纳为全局特征(不同卷积层可视化可以观察到这点) 2,卷积核 早期卷积核由人工总结,如图像处理中有: 深度神经网络中,卷积核则由网络训练过程中学习获得。 3, 神经网络中的卷积类型 Group convoluti 阅读全文
posted @ 2019-11-17 15:07 我的锅 阅读(681) 评论(0) 推荐(0)
摘要: 本文介绍pandas的使用,总结了我在机器学习过程中常使用到的一些方法等。 #pandas学习 import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt %matplotl 阅读全文
posted @ 2019-11-16 22:34 我的锅 阅读(1271) 评论(0) 推荐(0)
摘要: 论文创新点: 多头注意力 transformer模型 Transformer模型 上图为模型结构,左边为encoder,右边为decoder,各有N=6个相同的堆叠。 encoder 先对inputs进行Embedding,再将位置信息编码进去(cancat方式),位置编码如下: 然后经过多头注意力 阅读全文
posted @ 2019-11-15 11:21 我的锅 阅读(1342) 评论(0) 推荐(0)
摘要: 先放一张找到的算法流程图: 上图解释: A:状态转移概率矩阵,Aij表示状态i到状态j转换的概率,即P(state=j | state=i)。下面代码中以P表示。 B:观测矩阵,Bij表示给定状态i,观测结果为j的概率。即P(observation=j | state=i) π:初始时状态概率分布, 阅读全文
posted @ 2019-11-05 19:20 我的锅 阅读(787) 评论(0) 推荐(0)
摘要: 参考资料:《机器学习》 原理 n维样本的高斯分布为: ∑为协方差矩阵 由贝叶斯定理,样本Xj属于i类的后验概率为: 将上式简写为γji 则样本Xj分类公式为 给每一个分类一个系数,采用对数似然,得 上式分别对∑,μ求导,令导数为0,得 系数求和为1,引入此约束,对数似然的拉格朗日形式为 上式对系数α 阅读全文
posted @ 2019-11-04 15:19 我的锅 阅读(2248) 评论(0) 推荐(0)
摘要: Tic-Tac-Toe游戏为3*3格子里轮流下棋,一方先有3子成直线的为赢家。 参考代码如下,我只删除了几个没用的地方: ####################################################################### # Copyright (C) # 阅读全文
posted @ 2019-10-16 21:18 我的锅 阅读(804) 评论(0) 推荐(0)
摘要: 参考来源: 《机器学习》——周志华 https://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html 几个概念 极大似然估计 A事件发生了,A与某因素θ有关,我们“理所当然”认为θ的取值应该使A发生的概率最大,即θ的极大似然估计为θ= 阅读全文
posted @ 2019-10-16 10:29 我的锅 阅读(516) 评论(0) 推荐(0)