随笔分类 - ML
1
摘要：转自：https://www.cnblogs.com/skyme/p/4651331.html 什么是熵(Entropy) 简单来说，熵是表示物质系统状态的一种度量，用它老表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，，熵越小，系统越有序，意味着具有确定和有规则
阅读全文
摘要：转自：https://snaildove.github.io/2018/10/01/9.EM_and_GEM_LiHang-Statistical-Learning-Methods/ 前言EM（期望最大）算法有很多的应用，最广泛的就是混合高斯模型、聚类、HMM等等，本质上就是一种优化算法，不断迭代，
阅读全文
摘要：转自：https://www.cnblogs.com/pinard/p/6912636.html EM算法也称期望最大化（Expectation-Maximum,简称EM）算法，它是一个基础算法，是很多机器学习领域算法的基础，比如隐式马尔科夫算法（HMM）， LDA主题模型的变分推断等等。本文就对E
阅读全文
摘要：转自：https://mp.weixin.qq.com/s/EMCZHuvk5dOV_Rz00GkJMA 【文末有彩蛋！】推荐阅读时间：8min~13min主要内容：简介明了的讲解一些Attention Model的套路和理论 作者：YBB单位：清华大学研究生1Attention 的本质attent
阅读全文
摘要：转自：https://www.jiqizhixin.com/articles/2018 07 16 17?from=singlemessage 多年以后，当资深算法专家们看着无缝对接用户需求的广告收入节节攀升时，他们可能会想起自己之前痛苦推导FM与深度学习公式的某个夜晚……——题记1.引言点击率(c
阅读全文
摘要：转自：https://mp.weixin.qq.com/s/zDneR1BU6xvt8cndEF4_Xw 本文概览：1. 背景知识Word2Vec是语言模型中的一种，它是从大量文本预料中以无监督方式学习语义知识的模型，被广泛地应用于自然语言处理中。Word2Vec是用来生成词向量的工具，而词向量与语
阅读全文
摘要：转自：https://zhuanlan.zhihu.com/p/46445201 GBDT算法概述GBDT是boosting算法的一种，按照boosting的思想，在GBDT算法的每一步，用一棵决策树去拟合当前学习器的残差，获得一个新的弱学习器。将这每一步的决策树组合起来，就得到了一个强学习器。具体
阅读全文
摘要：转自：https://blog.csdn.net/qq_35976351/article/details/80892902 什么是特征交叉 特征交叉一种合成特征的方法，可以在多维特征数据集上，进行很好的非线性特征拟合。假设一个数据集有特征x1" role="presentation" style="
阅读全文
摘要：转自：https://zhuanlan.zhihu.com/p/57803955 摘要SVD(Singular Value Decomposition, 奇异值分解)是线性代数中既优雅又强大的工具, 它揭示了矩阵最本质的变换. 使用SVD对矩阵进行分解, 能得到代表矩阵最本质变化的矩阵元素. 这就好
阅读全文
摘要：github：kmeans代码实现1、kmeans代码实现2(包含二分k means) 本文算法均使用python3实现 1 聚类算法 对于"监督学习"(supervised learning)，其训练样本是带有标记信息的，并且监督学习的目的是：对带有标记的数据集进行模型学习，从而便于对新的样本进行
阅读全文
摘要：1、linalg=linear（线性）+algebra（代数），norm则表示范数。 2、函数参数 x_norm=np.linalg.norm(x, ord=None, axis=None, keepdims=False) ①x: 表示矩阵（也可以是一维） ②ord：范数类型 向量的范数： 矩阵的范
阅读全文
摘要：基础篇： 支持向量机：Maximum Margin Classifer —— 支持向量机简介。 支持向量机: Support Vector —— 介绍支持向量机目标函数的 dual 优化推导，并得出“支持向量”的概念。 支持向量机：Kernel —— 介绍核方法，并由此将支持向量机推广到非线性的情况
阅读全文
摘要：0 前言 本文承接上一篇博文拉格朗日乘子法和KKT条件http://www.cnblogs.com/liaohuiqiang/p/7805954.html，讲讲拉格朗日对偶性的问题。 在约束优化问题中，常常用拉格朗日对偶性来将原始问题转为对偶问题，通过解对偶问题的解来得到原始问题的解。
阅读全文
摘要：转自：https://www.cnblogs.com/liaohuiqiang/p/7805954.html 0 前言 上”最优化“课，老师讲到了无约束优化的拉格朗日乘子法和KKT条件。 这个在SVM的推导中有用到，所以查资料加深一下理解。 1 无约束优化 对于无约束优化问题中，如果一
阅读全文
摘要：摘要集成学习是机器学习算法中地位非常重要的一类算法, 其拥有理论基础扎实、易扩展、可解释性强等特点, 其核心思想是, 使用弱学习器(如线性模型、决策树等)进行加权求和, 从而产生性能较为强大的强学习器. 若按照指导弱学习器进行学习的理论基础进行分类的话, 集成学习的算法可分为两大类: 1. 基于偏差
阅读全文
摘要：https://blog.csdn.net/ChenVast/article/details/81385018 符号 涵义 测试样本 数据集 在数据集中的标记 的真实标记 训练集 学得的模型 由训练集 学得的模型对 的预测输出 模型
阅读全文
摘要：版权声明：本文为博主原创文章，遵循 CC 4.0 BY SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/zpalyq110/article/details/79527653 <! flowchart 箭头图标 勿删 【尊重原创，转载请注明出处】
阅读全文
摘要：转自：https://www.cnblogs.com/kyrieng/p/8694705.html 目录 信息熵 条件熵 相对熵 交叉熵 总结 1、信息熵 (information entropy) 熵 (entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热
阅读全文
1
浙公网安备 33010602011771号