随笔分类 - 机器学习 Machine learning
摘要：1. An overview of gradient descent optimization algorithms http://ruder.io/optimizing-gradient-descent/index.html https://arxiv.org/abs/1609.04747 2.
阅读全文
摘要：http://blog.csdn.net/zouxy09/article/details/24971995/ L1正则化及其推导 http://blog.csdn.net/zouxy09/article/details/24971995/ L1正则化及其推导 Laplace（拉普拉斯）先验与L1正则
阅读全文
摘要：人工智能（artificial intelligence，AI）是科技研究中最热门的方向之一。像 IBM、谷歌、微软、Facebook 和亚马逊等公司都在研发上投入大量的资金、或者收购那些在机器学习、神经网络、自然语言和图像处理等领域取得了进展的初创公司。考虑到人们对此感兴趣的程度，我们将不会惊讶于
阅读全文
摘要：LDA算法入门 一． LDA算法概述： 线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能
阅读全文
摘要：激活函数(ReLU, Swish, Maxout) Logistic函数或Logistic曲线是一种常见的S形函数，它是皮埃尔·弗朗索瓦·韦吕勒在1844或1845年在研究它与人口增长的关系时命名的。广义Logistic曲线可以模仿一些情况人口增长（P）的S形曲线。起初阶段大致是指数增长；然后随着开
阅读全文
摘要：介绍 介绍 独立成分分析(ICA,Independent Component Correlation Algorithm)简介 X=AS X为n维观测信号矢量，S为独立的m（m<=n)维未知源信号矢量，矩阵A被称为混合矩阵。 ICA的目的就是寻找解混矩阵W（A的逆矩阵），然后对X进行线性变换，得到输
阅读全文
摘要：其实我们在做线性回归也好，分类（逻辑斯蒂回归）也好，本质上来讲，就是把数据进行映射，要么映射到一个多个离散的标签上，或者是连续的空间里面，一般简单的数据而言，我们很好拟合，只要线性变化一下，然后学习出最好的W就可以了，但是对于一些比较复杂的数据怎么办呢？比如说，对于一个二分类问题，特别是高纬度复杂化
阅读全文
摘要：近十几年来，稀疏（sparsity）已经成为信号处理及其应用领域中处于第一位的概念之一。近来，研究人员又致力于过完备（overcomplete）信号表示的研究。这种表示不同于许多传统的表示。因为它能提供一个广阔范围的生成元素（atoms）。而冗余（redundant）信号表示的魅力正在于其能经济地（
阅读全文
摘要：特征值分解 函数 eig 格式 d = eig(A) %求矩阵A的特征值d，以向量形式存放d。 d = eig(A,B) %A、B为方阵，求广义特征值d，以向量形式存放d。 [V,D] = eig(A) %计算A的特征值对角阵D和特征向量V，使AV=VD成立。 [V,D] = eig(A,'noba
阅读全文
摘要：主成分分析PCA 降维的必要性 1.多重共线性--预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯。 2.高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间，而在十维空间上只有0.02%。 3.过多的变量会妨碍查找规律的建立。 4.仅在变量层面上分析可能
阅读全文