随笔分类 - 机器学习
摘要：1.强化学习与传统控制流程对比 传统控制流程：强化学习流程：reference：控制量(一般是根据某个性能指标进行控制：比如滑移率)。Part of reward function and observations：部分R、部分S，输入Agent( Agent = RL algorithm+poli
阅读全文
摘要：高斯混合模型（Gaussian Mixture model） 来源：B站up主：shuhuai008，板书 问题：“高斯”？，“混合”？ 可从两个角度理解 一、从几何角度看：高斯混合模型就是若干个高斯模型的“加权平均”。 混合高斯分布的公式 此处的x（小写）可以指代任意一个样本xi，利用公式（3）可
阅读全文
摘要：来源：B站up主Shuhuai008：板书 概率图框架： 概率图可分为有向（Bayes Network）和无向（Markov Netwrok），其中从（随机变量服从离散或者连续概率分布）的分类角度可分为高斯图（连续）和其他（离散）。 概率基本概念： Bayes是一个概率的概念，可从基本的规则推导而来
阅读全文
摘要：3.分别从{Y,yn,procol,X}角度对学习算法进行分类 3.1 根据输出的标签Y可以将学习算法分为二分类，多分类，回归，结构化学习四种类型。 {binary classification;multiclassification;regression;structured learning}，
阅读全文
摘要：2.learning to answer yes/no【{-1，1}二分类】 示例：如何构造一个二分类的线性分类器。 内容如下： 2.1 感知机的假设集H（hypothesis set） 假设集中存在非常多个预测函数，“perceptron”预测函数是其中的一种，我们选择“perceptron” 函
阅读全文
摘要：第一部分课程：foundation oriented：主要讲解机器学习的基础知识 1.课程内容 该课程主要阐述关于机器学习（ML）的四个问题： 1.1什么时候用ML？ 【明确用ML解决某一问题的可行性；看该问题是否能抽象成具体的ML常规问题（分类/回归之类）】 1.2为什么要用ML？【机器学习作为解
阅读全文
摘要：1 什么时候用机器学习? 1.1 什么是机器学习（机器学习概念，机器学习相关名词概念） 人的学习过程是通过观察（observation），然后进行学习（learning），最后得到习得技能（skill）;机器的学习是通过获取数据（data）,进行一定的规则/算法推演(ML)，最后习得技能（skill
阅读全文
摘要：fitcecoc函数属于statistic&machine learning toolbox，用于训练多分类ECOC（error-correcting output code）模型 参考资料： 1.matlab10行代码完成多分类功能（SVM，softmax，fitcecoc）：https://bl
阅读全文
摘要：一、模式识别神经网络 在matlab命令窗口输入：nnstart 或 nprtool 就可以进入matlab神经网络GUI 二、鸢尾花数据集iris示例 1.输入数据集，划分训练集、测试集 load fisheriris; [m,n]=size(meas); data=zeros(m,n+1); d
阅读全文
摘要：1.KNN简介： KNN：(K nearest neighbor)也叫K近邻算法，主要用于处理机器学习中的分类问题。 2.算法思想：统计得到距离目标点最近的K个点中个数最多的某个标签，作为目标点的类标签。 即假设给定k=8，计算每个样本点对测试点的距离，并从小到大排序，选出前8个样本点，统计得出前8
阅读全文
摘要：1.简介 随机森林和GBDT都属于集成学习。 集成学习可分为两大类：bagging和boosting； 随机森林（RF） ∈ bagging GBDT ∈ boosting 2.随机森林：由多个决策树组成的一个集成学习算法，可用于分类和回归（分类效果好于回归），最终结果采用投票制得出。 数据集处理：
阅读全文
摘要：1.从感知学习算法到深度学习演化时间轴 2.非线性问题的三种解决方法： 参考资料： 1.https://www.bilibili.com/video/BV1Tt411s7fK?from=search&seid=14161509480958797618，B站白板推导，作者：shuhuai008 2.白
阅读全文
摘要：一、决策树不同算法信息指标： 发展过程：ID3 -> C4.5 -> Cart; 相互关系：ID3算法存在这么一个问题，如果某一个特征中种类划分很多，但是每个种类中包含的样本个数又很少，就会导致信息增益很大的情况，但是这个特征和结果之间并没有很大的相关性。所以这个特征就不是我们最终想优先决策的特征【
阅读全文
摘要：1.决策树思想：以信息增益作为指标，得出最高效的一种决策方案，可用于回归或者分类问题。【由if-else演化而来，后续可发展成机器学习中的随机森林算法】2.决策树指标： 香农：消除随机不确定性的东西。信息熵：定量表示（某种事物）随机不确定性的大小。样本：假设一个人身上有四种属性，分别是年龄【青年，中
阅读全文
摘要：0.相关概念 数据：X 参数：theta 假设概率模型为：x~p(x|theta) 【xi服从于p(x|theta)，并且是独立同分布(iid)】 明确先验、后验和似然的概念： 似然(likelihood/evidence)：p(X|theta)【有看到别的地方的evidence指的是所有样本X的总
阅读全文
摘要：参考资料： https://www.bilibili.com/video/BV1Tt411s7fK?from=search&seid=14915472540855411533，B站白板推导及笔记，作者：shuhuai008
阅读全文
摘要：BP神经网络基本概念： 1.代价函数：神经网络的训练过程就是通过代价函数最小化(J)拟合出最优参数(weight) 【神经网络的代价函数其实就是一个指标，表明用模型对样本的拟合程度，可以类比成模型的预测值h(x)和样本输出yi的差值的方差(待确定)】 【代价函数最小化可以通过梯度下降法或者反向传播算
阅读全文
摘要：1.相关概念 神经网络(Neural Network)本质是一个非线性分类器（可以是二分类或多分类），适用于样本特征维度很高，并且非线性可分时。 【神经网络最终输出是一个复杂的非线性预测函数，可视化为高维空间中的一个复杂的非线性边界】 【神经网络的训练过程就是根据输入样本(xi,yi)拟合出权重参数
阅读全文
摘要：1.hinge function【表示错误分类的函数】 hinge function:(图) 2.Soft-margin SVM【将错误分类加入损失函数】 C：容忍度：可容忍错误分类的程度指标【C越大，可容忍错误分类的程度越高】 【错误分类的样本处于wTX+b=和wTX+b=1之间；表明样本(函数)
阅读全文
浙公网安备 33010602011771号