随笔分类 -  机器学习相关知识

各种Attention机制原理
摘要：下面是9种Attention以及Attention变种的方法，其中LRA表示性能，横坐标表示运行速度，圈圈大小表示占的内存大小。 Transformer 是传统的Attention机制。 Big Bird 就是小孩子才做选择，啥都综合在一起。综合global attention， local att 阅读全文
posted @ 2022-04-01 07:27 CrescentTing 阅读(196) 评论(0) 推荐(0)
机器学习里面的核kernel， 维数灾难
摘要：核函数只是用来计算映射到高维空间之后的内积的一种简便方法。 核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。 李航的《统计学习方法》中对于核函数的定义： 要注意，核 阅读全文
posted @ 2021-06-03 08:59 CrescentTing 阅读(678) 评论(0) 推荐(0)
机器学习常见的乘法（product）
摘要：1.Frobenius inner product （矩阵内积） 矩阵内积就是 两个大小相同的矩阵元素一一对应相乘并且相加 2. dot product (点积) 注：矩阵内积退化成向量形式就是点积，也可以称作向量内积。 两个向量里元素一一相乘，再相加 适用范围：维度相同的两个向量 3. Krone 阅读全文
posted @ 2021-01-21 07:25 CrescentTing 阅读(2094) 评论(0) 推荐(0)
AdaBoost (Adaptive Boosting) 自适应增强算法在预测中的应用
摘要：AdaBoost学习算法用于提高简单学习算法的分类性能。 它通过组合一组弱分类函数（具有较高分类错误的弱分类器）来形成更强的分类器。最后的强分类器的预测结果是：采用弱分类器的预测值乘以当前分类器的权重的加权组合的形式。 AdaBoost方法的自适应在于：前一个分类器分错的样本会被用来训练下一个分类器 阅读全文
posted @ 2020-06-23 15:43 CrescentTing 阅读(386) 评论(0) 推荐(0)
归一化 或者 feature rescall 或者 normalization
摘要：Laplician Normalization: 阅读全文
posted @ 2020-04-27 09:17 CrescentTing 阅读(187) 评论(0) 推荐(0)
Auto encoder简介， Variational Autoencoder, 以及Variational Graph Autoencoder详细介绍
摘要：1. 传统的Auto-Encoders 传统的自动编码机是一个神经网络，它包含一个编码层和一个解码层。编码层将一个点X作为输入，将他转换成一个低维的特征 embedding Z。 解码是将低维的特征表示Z返回成一个重新构建的原始输入 X-hat，尽量使X-hat跟X相似。 下面是手写数字识别的例子： 阅读全文
posted @ 2020-04-17 15:13 CrescentTing 阅读(2428) 评论(0) 推荐(1)
TensorFlow里面损失函数
摘要：损失算法的选取 损失函数的选取取决于输入标签数据的类型： 如果输入的是实数、无界的值，损失函数使用平方差； 如果输入标签是位矢量（分类标志），使用交叉熵会更适合。 1．均值平方差 在TensorFlow没有单独的MSE函数，不过由于公式比较简单，往往开发者都会自己组合，而且也可以写出n种写法，例如： 阅读全文
posted @ 2020-04-15 12:45 CrescentTing 阅读(825) 评论(0) 推荐(0)
Paper：基于图卷积神经网络（Graph Convolutional Networks GCN）的半监督分类
摘要：本文为“SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS”， 作者ThomasN.Kipf。 本文是基于谱的图卷积网络用来解决半监督学习的分类问题，输入为图的邻接矩阵A，和每一个节点的特征向量H 本问对应的代码为 htt 阅读全文
posted @ 2020-04-14 15:10 CrescentTing 阅读(1796) 评论(0) 推荐(0)
傅里叶变换
摘要：1. 变换 在一个二维坐标系里，有一个向量 A = (2,1), (2,1) 这个数和向量图是一个变换。 A（2，1） 表示 这个向量在X方向上有两个单位， Y方向上一个单位。 向量eX*向量eX = 向量eY*向量eY = 1 ex*ey=0, 那么ex和ey表示标准正交基、 2.傅里叶级数：周期 阅读全文
posted @ 2020-04-14 07:38 CrescentTing 阅读(1810) 评论(0) 推荐(0)