摘要：
机器学习算法 原理、实现与实践 —— 距离的度量声明：本篇文章内容大部分转载于July于CSDN的文章：从K近邻算法、距离度量谈到KD树、SIFT+BBF算法，对内容格式与公式进行了重新整理。同时，文章中会有一些对知识点的个人理解和归纳补充，不代表原文章作者的意图。1. 欧氏距离欧氏距离是最常见的两... 阅读全文
随笔分类 - 机器学习
ML 06、感知机
2014-11-03 12:36 by ☆Ronny丶, 1436 阅读, 收藏, 编辑
摘要：
机器学习算法 原理、实现与实践 —— 感知机感知机（perceptron）是二分类的线性分类模型，输入为特征向量，输出为实例的类别，取值+1和-1。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，引入了基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。1. 感知机... 阅读全文
ML 05、分类、标注与回归
2014-10-31 12:51 by ☆Ronny丶, 2605 阅读, 收藏, 编辑
摘要：
机器学习算法 原理、实现与实践 —— 分类、标注与回归1. 分类问题分类问题是监督学习的一个核心问题。在监督学习中，当输出变量$Y$取有限个离散值时，预测问题便成为分类问题。监督学习从数据中学习一个分类决策函数或分类模型，称为分类器（classifier）。分类器对新的输入进行输出的预测，这个过程称... 阅读全文
ML 04、模型评估与模型选择
2014-10-31 09:59 by ☆Ronny丶, 2945 阅读, 收藏, 编辑
摘要：
机器学习算法 原理、实现与实践——模型评估与模型选择1. 训练误差与测试误差机器学习的目的是使学习到的模型不仅对已知数据而且对未知数据都能有很好的预测能力。假设学习到的模型是$Y = \hat{f}(X)$，训练误差是模型$Y = \hat{f}(X)$关于训练数据集的平均损失：$$R_{emp}(... 阅读全文
ML 03、机器学习的三要素
2014-10-31 09:29 by ☆Ronny丶, 6851 阅读, 收藏, 编辑
摘要：
机器学习算法原理、实现与实践——机器学习的三要素1 模型在监督学习中，模型就是所要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。例如，假设决策函数是输入变量的线性函数，那么模型的假设空间就是这些线性函数构成的函数的集合。假设空间用$\mathcal{F}$表示。假... 阅读全文
ML 02、监督学习
2014-10-31 09:28 by ☆Ronny丶, 1656 阅读, 收藏, 编辑
摘要：
机器学习算法原理、实现与实践——监督学习机器学习包括监督学习、非监督学习、半监督学习及强化学习，这里先讨论监督学习。 监督学习的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。1 基本概念1.1 输入空间、特征空间与输出空间输入与输出所有可能取值的集合分别称为输入空间... 阅读全文
ML 01、机器学习概论
2014-10-31 09:27 by ☆Ronny丶, 1788 阅读, 收藏, 编辑
摘要：
机器学习原理、实现与实践——机器学习概论如果一个系统能够通过执行某个过程改进它的性能，这就是学习。 ——— Herbert A. Simon1. 机器学习是什么计算机基于数据来构建概率统计模型并运用模型对数据进行预测与分析的一门学科。从上面的机器学习的定义中，我们可以了解到以下的信息：机器学习以计算... 阅读全文
神经网络：卷积神经网络
2014-04-07 11:24 by ☆Ronny丶, 39557 阅读, 收藏, 编辑
摘要：
一、前言这篇卷积神经网络是前面介绍的多层神经网络的进一步深入，它将深度学习的思想引入到了神经网络当中，通过卷积运算来由浅入深的提取图像的不同层次的特征，而利用神经网络的训练过程让整个网络自动调节卷积核的参数，从而无监督的产生了最适合的分类特征。这个概括可能有点抽象，我尽量在下面描述细致一些，但如果要更深入了解整个过程的原理，需要去了解DeepLearning。这篇文章会涉及到卷积的原理与图像特征提取的一般概念，并详细描述卷积神经网络的实现。但是由于精力有限，没有对人类视觉的分层以及机器学习等原理有进一步介绍，后面会在深度学习相关文章中展开描述。二、卷积卷积是分析数学中一种很重要的运算，其实是一 阅读全文
神经网络：多层网络与C++实现
2014-03-09 11:16 by ☆Ronny丶, 17228 阅读, 收藏, 编辑
摘要：
相关源码可参考最新的实现：https://github.com/ronnyyoung/EasyML ，中的neural_network模块，后持续更新，包括加入CNN的结构。 一、引言 在前一篇关于神经网络的文章中，给出了神经网络中单个神经元的结构和作用原理，并且用梯度下降的方法推导了单个SIMGO 阅读全文
感知器与梯度下降
2014-03-07 14:40 by ☆Ronny丶, 13708 阅读, 收藏, 编辑
摘要：
机器学习算法 原理、实现与实践 —— 感知机与梯度下降 一、前言 1，什么是神经网络？ 人工神经网络(ANN)又称神经网络(NN)，它是一种受生物学启发而产生的一种模拟人脑的学习系统。它通过相互连结的结点构成一个复杂的网络结构，每一个结点都具有多个输入和一个输出，并且该结点与其他结点以一个权重因子相连在一起。通俗来说，神经网络是一种学习器，给它一组输入，它会得到一组输出，神经网络里的结... 阅读全文
机器学习：计算机学习西洋跳棋
2014-01-08 16:16 by ☆Ronny丶, 3786 阅读, 收藏, 编辑
摘要：
机器学习
通过让程序分析人们购物清单，来分析人们对商品的品牌、价格的偏好。
通过跟踪个人的新闻浏览，分析其兴趣爱好、并为其推荐感觉兴趣的新闻或产品。
通过对已知的手写字符的分析，能够让计算机程序自动的认出手写字符。
…
以上这些都是机器学习的例子，在今天，机器学习已经不知不觉的进入到人们的生活，也许你为奇怪为什么网页上的广告都是显示你最在在淘宝或京东上最近购买的商品。最终你会发现，你使用的软件，你操作的系统，变得越来越智能。 阅读全文