2025年4月10日
近似推断
摘要： 精确推断方法通常需要很大的计算开销，通常使用近似推断方法 近似推断方法大致可分为两大类：第一类是采样，通过使用随机化方法完成近似；第二类是使用确定性近似完成近似推断，典型代表为变分推断 MCMC采样 采样法正是基于这个思路。具体来说，假定我们的目标是计算函数 \(f(x)\) 在概率密度函数 \(p 阅读全文
posted @ 2025-04-10 13:26 rdcamelot 阅读(48) 评论(0) 推荐(0)
概率图模型
摘要： 机器学习最重要的任务，是根据一些已观察到的证据（例如训练样本）来对感兴趣的未知变量（例如类别标记）进行估计和推测。概率模型提供了一种描述框架，将学习任务归结于计算变量的概率分布。 在概率模型中，利用已知变量推测未知变量的分布称为“推断”，其核心是如何基于可观测变量推测出未知变量的条件分布. 监督学习 阅读全文
posted @ 2025-04-10 09:31 rdcamelot 阅读(61) 评论(0) 推荐(0)
2025年4月9日
特征选择
摘要： 将属性称为特征，把对当前学习任务有用的属性称为“相关特征”、没用的特征称为“无关特征”，从给定的特征集合中选择出相关特征子集的过程，称为“特征选择” 特征选择是一个数据预处理过程，和降维一样也可以减缓维数灾难问题，不过它们的区别在于： 特征选择是选择一部分原始特征，不改变特征的含义，只是减少特征的数 阅读全文
posted @ 2025-04-09 23:42 rdcamelot 阅读(64) 评论(0) 推荐(0)
降维和度量学习
摘要： k近邻学习(kNN) 是一种懒惰学习，最开始得到数据集时不进行任何操作，在预测时再进行计算，此时计算复杂度较高 k 近邻学习是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测，通常，在分类任务中可使 阅读全文
posted @ 2025-04-09 22:21 rdcamelot 阅读(32) 评论(0) 推荐(0)
聚类学习
摘要： 无监督学习中，训练样本的标记信息是位置的，这时就需要通过对无标记训练样本的学习来揭示数据的内在性质及规律 聚类试图将数据集中的样本划分为若干个不相交的子集，每个子集称为一个“簇” 性能度量 判断怎么样的聚类结果是比较好的，显然，聚类结果的“簇内相似度”高且“簇间相似度”低 常用的聚类性能内部指标： 阅读全文
posted @ 2025-04-09 18:50 rdcamelot 阅读(94) 评论(0) 推荐(0)
集成学习
摘要： 通过构建并结合多个学习器来完成学习任务 例如先产生一组“个体学习器”，再用某种策略将它们结合起来.个体学习器通常由一个现有的学习算法从训练数据产生，此时集成中只包含同种类型的个体学习器，这样的集成是“同质”的，同质集成中的个体学习器亦称“基学习器”，相应的学习算法称为“基学习算法”；集成也可包含不同 阅读全文
posted @ 2025-04-09 13:26 rdcamelot 阅读(22) 评论(0) 推荐(0)
贝叶斯分类器
摘要： 贝叶斯决策论是概率框架下实施决策的基本方法，也就是考虑如何基于概率和误判损失来选择最优的类别标记 贝叶斯框架下，损失函数由条件风险定义，而条件风险基于后验概率：条件风险\(R(c_i|\boldsymbol{x})\)表示将样本x分类为\(c_i\)所产生的期望损失，\(R(c_i|\boldsym 阅读全文
posted @ 2025-04-09 10:57 rdcamelot 阅读(57) 评论(0) 推荐(0)
2025年4月8日
神经网络
摘要： 神经元 神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接（connection）进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过"激活函数"处理以产生神经元的输出 理想的激活函数是阶跃函数，即将输入值映射为0，1，表示神经元抑制还是兴奋，但同样，需要将 阅读全文
posted @ 2025-04-08 19:04 rdcamelot 阅读(23) 评论(0) 推荐(0)
决策树
摘要： 决策树，顾名思义，是基于树结构来进行决策的 一般，一棵决策树包含一个根节点、若干个内部节点和若干个叶节点；叶节点对应于决策结果，其他每个节点则对应于一个属性测试； 根节点包含样本全集，根节点到叶节点的路径对应了一个判定测试序列，并且具有一个重要的性质：互斥并且完备，也就是说，每一个实例都被一条路径或 阅读全文
posted @ 2025-04-08 18:32 rdcamelot 阅读(60) 评论(0) 推荐(0)
线性模型
摘要： 线性模型试图学得一个属性的线性组合形式来预测的函数 用向量形式表示也就是\(f(\boldsymbol{x}) = \boldsymbol{w}^{\mathrm{T}} \boldsymbol{x} + b\) 线性回归 将属性表示为向量，对于连续属性，这是易得的 对于离散属性，如果属性值之间存在 阅读全文
posted @ 2025-04-08 16:08 rdcamelot 阅读(39) 评论(0) 推荐(0)