随笔分类 -  Machine Learning

LSTM
摘要：LSTM公式推导： https://blog.csdn.net/u010754290/article/details/47167979 https://blog.csdn.net/xuanyuansen/article/details/61913886 https://www.jianshu.com 阅读全文
posted @ 2018-09-07 14:38 activeshj 阅读(188) 评论(0) 推荐(0)
R：朴素贝叶斯
摘要：http://my.oschina.net/letiantian/blog/324269?p=1#OSC_h2_3 阅读全文
posted @ 2015-01-28 17:57 activeshj 阅读(108) 评论(0) 推荐(0)
核函数
摘要：常见的核函数：线性核函数：K(xi, xj)=xiTxj多项式核函数：K(xi, xj)=(ϒxiTxj+r)d, ϒ > 0径向基函数（Radial Basis Function，RBF）：K(xi, xj)=exp(-ϒ||xi-xj||2), ϒ > 0sigmod ：K(xi, xj)=ta... 阅读全文
posted @ 2015-01-28 11:07 activeshj 阅读(919) 评论(0) 推荐(0)
RRC聚类算法
摘要：(原创文章，转载请注明出处！)RRC（recursive rectangular clustering）的基本思想是通过递归的对包含所有样本点的局域进行矩形分割来达到对数据聚类的目的。算法来至文章Eigentaste: A Constant Time Collaborative Filtering ... 阅读全文
posted @ 2014-10-13 11:08 activeshj 阅读(332) 评论(0) 推荐(0)
数据标准化与归一化
摘要：http://blog.sina.com.cn/s/blog_7dc56e6e0100qz1k.htmlhttp://blog.sina.com.cn/s/blog_6c5401980100n8u0.htmlhttp://blog.sina.com.cn/s/blog_a89e19440101eeu... 阅读全文
posted @ 2014-10-02 19:09 activeshj
应用高斯分布来解决异常检测问题（三）
摘要：(原创文章，转载请注明出处！)本篇来解决一个异常检测问题。样本数据约300个，无标签的二维数据。此外，还有一个有标签的验证数据集，包含约300个样本。一、将每个维度数据的直方图plot出来1 hist(X[,1], breaks=seq(from=floor(min(X[,1])),to=ceili... 阅读全文
posted @ 2014-09-06 15:16 activeshj 阅读(724) 评论(0) 推荐(0)
应用高斯分布来解决异常检测问题（一）
摘要：(原创文章，转载请注明出处！)异常检测的样本数据，可能有标签，但通常正常状况的样本很多，异常状况的样本很少，并且出异常的原因通常也不尽相同。所以，可以只针对正常状况的样本建模。而如果收集到一堆的数据没有标签，则可以对所有的样本数据用一个模型建模，因为通常数据中异常状况的样本很少，对最终模型的影响很小... 阅读全文
posted @ 2014-09-03 17:36 activeshj 阅读(3158) 评论(0) 推荐(0)
高斯（正态）分布、GDA、Mixtures of Gaussian
摘要：(原创文章，转载请注明出处！)高斯分布的密度函数一元高斯分布：p(x;μ,σ2)=(1/{sqrt(2π)*σ}) * exp{-(x-μ)2/(2σ2)}期望：E(X) = μ；方差：D(X) = σ2二元高斯分布：p(x1,x2;μ1,μ2,σ12,σ22)={ 1 / [2π*σ1σ2*sqr... 阅读全文
posted @ 2014-09-01 09:21 activeshj 阅读(1298) 评论(0) 推荐(0)
主成分分析
摘要：(原创文章，转载请注明出处！)一、主成分分析的作用主成分分析（PCA）是通过一些方法将高维的训练数据映射到低维，起到一个训练数据降维的作用。这样一方面能消除训练数据中冗余特征，另一方面能提升训练算法的运行效率，还能减少对存储资源的占用；如果是降维到2D或者3D，还能用2D、3D的展示技术将数据显示出... 阅读全文
posted @ 2014-08-16 09:51 activeshj 阅读(1439) 评论(0) 推荐(0)
奇异值分解
摘要：Singular Value Decompositionhttp://blog.csdn.net/wangzhiqing3/article/details/7446444http://blog.csdn.net/ningyaliuhebei/article/details/7104951http:/... 阅读全文
posted @ 2014-08-16 09:51 activeshj
概率基础
摘要：(原创文章，转载请注明出处！)(0-1)分布P{X=k}=pk(1-p)1-k，k=0,1 (00是常数期望值是λ, 方差也是λ数学期望离散：E(X) = Σ 1∞(xkpk)连续：E(X) = ∫-∞∞ xf(x) dx方差D(X) = E{[X-E(X)]2}, sqrt(D(X)) 称为标准差... 阅读全文
posted @ 2014-08-08 22:31 activeshj 阅读(463) 评论(0) 推荐(0)
点估计
摘要：(原创文章，转载请注明出处！)用样本数据来估计分布函数未知参数的问题，称为参数的点估计问题。一、矩估计样本矩作为相应的总体矩的估计量，而以样本矩的连续函数作为相应的总体矩的连续函数的估计量。由辛钦定理知道，样本矩依概率收敛到总体矩，而以样本矩为参数的连续函数依概率收敛到以相应总体矩为参数的连续函数。... 阅读全文
posted @ 2014-08-08 22:29 activeshj 阅读(443) 评论(0) 推荐(0)
logistic回归
摘要：(原创文章，转载请注明出处！)用logistic回归来解决分类问题。模型的值域是[0,1]，用0.5作为分类的阈值。模型的输出是：P(y=1|x;θ)，即：对给定的输入x，和确定的参数θ，事件“y=1”的概率。那么可以选择sigmoid函数： 1/(1+e-z) ，z∈R，值域为[0,1]，在log... 阅读全文
posted @ 2014-08-07 22:36 activeshj 阅读(1210) 评论(0) 推荐(0)
基于朴素贝叶斯模型的文本分类
摘要：(原创文章，转载请注明出处！)一、朴素贝叶斯模型模型一：将一个文本文档使用一个词的向量来表示。通常文档中出现的词的个数是有限的，假设要将文档分成两类（类别0、1），分类的所有文档可能出现100个词（词典中词的个数，在实际应用中，选择训练文档中出现次数最多的n个词，n从10000到50000），那么一... 阅读全文
posted @ 2014-08-07 21:53 activeshj 阅读(617) 评论(0) 推荐(0)
数学基础
摘要：(原创文章，转载请注明出处！)范数（Norm）映射||•|| ：Rn→R称为Rn上的半范数，当且仅当：（1） ||x|| ≥ 0，∀x∈Rn（2） ||αx|| = |α| ||x||，∀α∈R, x∈Rn（3） ||x + y|| ≤ ||x|| + ||y||，∀x,y∈Rn如果映射还满足：（4... 阅读全文
posted @ 2014-08-07 21:46 activeshj 阅读(305) 评论(0) 推荐(0)
K均值聚类算法
摘要：(原创文章，转载请注明出处！)一、K均值聚类算法K均值聚类的训练数据是向量，假设样本点是三维向量，它们没有类别标示。所以，第一步: 要确定聚类中心的个数，比如：3个；然后初始化聚类中心，比如：μ1、μ2、μ3。第二步: 计算训练数据中的每一个样本点到分别到这三个聚类中心的距离||x-μ1||2， 对... 阅读全文
posted @ 2014-08-07 21:33 activeshj 阅读(1028) 评论(0) 推荐(0)