08 2013 档案

漫谈：机器学习中距离和相似性度量方法
摘要：在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量方法。一般而言，定义一个距离函数 d(x,y), 需要满足下面几个准则：1) d(x,x) = 0 // 到自己的距离为02) d(x,y) >= 0 // 距离非负3) d(x,y) = d(y,x) // 对称性: 如果 A 到 B 距离是 a，那么 B 到 A 的距离也应该是 a4) d(x,k)... 阅读全文

posted @ 2013-08-07 22:33 daniel-D 阅读(42528) 评论(13) 推荐(20)

SVM 简要推导过程
摘要：SVM 是一块很大的内容，网上有写得非常精彩的博客。这篇博客目的不是详细阐述每一个理论和细节，而在于在不丢失重要推导步骤的条件下从宏观上把握 SVM 的思路。1. 问题由来SVM (支持向量机) 的主要思想是找到几何间隔最大的超平面对数据进行正确划分，与一般的线性分类器相比，这样的超平面理论上对未知的新实例具有更好的分类能力。公式表示如下：: 所有点中最小的几何间隔, 实际上就是支持向量上的点的几何间隔: 训练样本及对应标签，, 作用是将第 i 个样本点的几何间隔转化为正数公式的意思是假设每个训练样本点的几何间隔至少是, 求的最大值。由于几何间隔（没帽子）和函数间隔（有帽子）的关系是：最大化可 阅读全文

posted @ 2013-08-05 09:16 daniel-D 阅读(6593) 评论(0) 推荐(1)

稀疏表示介绍(下)
摘要：声明之前虽然听过压缩感知和稀疏表示，实际上前两天才正式着手开始了解，纯属新手，如有错误，敬请指出，共同进步。主要学习资料是 Coursera 上 Duke 大学的公开课——Image and video processing, by Pro.Guillermo Sapiro第 9 课。由于对图像处理的了解也来自与该课程，没正经儿看过几本图像方面的书籍，有些术语只能用视频中的英文来表达，见谅哈！1. From Local to Global Treatment图片尺寸有大有小，在 DCT 变换中，我们一般取 8×8 的方块作为一组 64 维的变换信号，在稀疏表示中，我们同样也不能把整张 阅读全文

posted @ 2013-08-01 21:13 daniel-D 阅读(5687) 评论(0) 推荐(0)

导航