09 2019 档案

机器学习支持向量机SVM笔记
摘要：SVM简述： SVM是一个线性二类分类器，当然通过选取特定的核函数也可也建立一个非线性支持向量机。SVM也可以做一些回归任务，但是它预测的时效性不是太长，他通过训练只能预测比较近的数据变化，至于再往后的变化SVM可能就不起作用了。 SVM的思想 下面举个简单的例子。如下图所示，现在有一个二维平面，平 阅读全文
posted @ 2019-09-29 16:39 yg_staring 阅读(323) 评论(0) 推荐(0)
机器学习xgboost参数解释笔记
摘要：首先xgboost有两种接口，xgboost自带API和Scikit-Learn的API，具体用法有细微的差别但不大。 在运行 XGBoost 之前, 我们必须设置三种类型的参数: （常规参数）general parameters，（提升器参数）booster parameters和（任务参数）ta 阅读全文
posted @ 2019-09-27 22:03 yg_staring 阅读(1713) 评论(0) 推荐(0)
机器学习之Adaboost与XGBoost笔记
摘要：提升的概念 提升是一个机器学习技术，可以用于回归和分类问题，它每一步产生一个弱预测模型（如决策树），并加权累加到总模型中；如果每一步的弱预测模型生成都是依据损失函数的梯度方向，则称之为梯度提升（Gradient boosting） 梯度提升算法首先给定一个目标损失函数，它的定义域是所有可行的若函数集 阅读全文
posted @ 2019-09-26 22:12 yg_staring 阅读(1199) 评论(0) 推荐(0)
机器学习之Bagging与随机森林笔记
摘要：集成学习通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。这对“弱学习器”尤为明显，因此集成学习的很多理论研究都是针对弱学习器进行的，而基学习器有时也被直接称为弱学习器。虽然从理论上来说使用弱学习器集成足以获得好的性能，但在实践中出于种种考虑，例如希望使用较少的个体学习器，或是重用关 阅读全文
posted @ 2019-09-26 19:25 yg_staring 阅读(542) 评论(0) 推荐(0)
机器学习之决策树笔记
摘要：决策树 1.决策树是一种树型结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输出，每个叶子结点代表一种类别。 2.决策树学习是以实例为基础的归纳学习 3.决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶子节 阅读全文
posted @ 2019-09-26 11:38 yg_staring 阅读(304) 评论(0) 推荐(0)
机器学习之softmax回归笔记
摘要：本次笔记绝大部分转自https://www.cnblogs.com/Luv-GEM/p/10674719.html softmax回归 Logistic回归是用来解决二类分类问题的，如果要解决的问题是多分类问题呢？那就要用到softmax回归了，它是Logistic回归在多分类问题上的推广。此处神经 阅读全文
posted @ 2019-09-20 20:29 yg_staring 阅读(1331) 评论(0) 推荐(0)
机器学习之逻辑回归(Logistic)笔记
摘要：在说逻辑回归之前，可以先说一说逻辑回归与线性回归的区别： 逻辑回归与线性回归在学习规则形式上是完全一致的，它们的区别在于hθ(x(i))为什么样的函数 当hθ(x(i))=θTx(i)时，表示的是线性回归，它的任务是做回归用的。 当时，表示的是逻辑回归，假定模型服从二项分布，使用最大似然函数推导的， 阅读全文
posted @ 2019-09-20 19:29 yg_staring 阅读(580) 评论(0) 推荐(0)
机器学习之模型拟合效果的判断笔记
摘要：对于m个样本 某模型的估计值为 计算样本的总平方和TSS(Total Sum of Squares): 计算残差平方和RSS(Residual Sum of Squares): RSS即误差平方和SSE(Sum of Squares for Error) 定义 R2=1-RSS/TSS R2越大，拟 阅读全文
posted @ 2019-09-20 17:29 yg_staring 阅读(2452) 评论(0) 推荐(0)
机器学习最小二乘法笔记
摘要：最小二乘法是简单线性回归法，下面我将学习到的最小二乘法的推导过程列出来 阅读全文
posted @ 2019-09-18 19:32 yg_staring 阅读(206) 评论(0) 推荐(0)
机器学习之线性回归笔记
摘要：线性回归 若只考虑两个特征变量我们可以建立线性方程： 对于多个特征变量我们可以建立： 是预测值，它与真实值存在一定的误差： 为预测值，y(i)为真实值。 误差ε(i)是独立同分布的，服从均值为0，方差为某定值σ2的高斯分布 为什么每个样本误差ε是独立同分布的？ 答：误差可能是正的也可能是负的，它们之 阅读全文
posted @ 2019-09-18 16:10 yg_staring 阅读(261) 评论(0) 推荐(0)
机器学习之主成分分析PCA原理笔记
摘要：1. 相关背景 在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观测，收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息，但是也在一定程度上增加了数据采集的工作量。更重要的是在很多情形下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性。如果分别对每个指标 阅读全文
posted @ 2019-09-18 15:32 yg_staring 阅读(552) 评论(0) 推荐(0)
机器学习SVD笔记
摘要：机器学习中SVD总结 矩阵分解的方法 基本矩阵分解(Basic Matrix Factorization)，basic MF分解。 正则化矩阵分解(Regularized Matrix Factorization)。 概率矩阵分解(Probabilistic Matrix Factorization 阅读全文
posted @ 2019-09-18 15:21 yg_staring 阅读(332) 评论(0) 推荐(0)
c语言数据结构之线性表的顺序存储结构
摘要：线性表，即线性存储结构，将具有“一对一”关系的数据“线性”地存储到物理空间中，这种存储结构就称为线性存储结构，简称线性表。 注意：使用线性表存储的数据，要求数据类型必须一致，线性表存储的数据，要么全不都是整形，要么全部都是字符串。一半是整形，另一半是字符串的一组数据无法使用线性表存储。 线性表存储数 阅读全文
posted @ 2019-09-07 20:51 yg_staring 阅读(2403) 评论(0) 推荐(1)
机器学习理论基础2笔记
摘要：在学习机器学习之前熟悉一下机器学习相关的词，对今后的机器学习有一定的帮助，使得我们能够更为清晰的认识机器学习 此次的笔记只是一种简要的概括，具体的可以参照博客https://www.csdn.net/gather_27/MtTacg5sOTg2Ni1ibG9n.html 当然还有其它的，只要我们能够 阅读全文
posted @ 2019-09-07 14:59 yg_staring 阅读(302) 评论(0) 推荐(0)
数据结构笔记01
摘要：数据结构的起源 计算机从解决数值计算问题到解决生活中的问题 现实生活中的问题涉及不同个体间的复杂关系 需要在计算机程序中描述生活中个体间的联系 数据结构主要研究非数值计算程序问题中的操作对象以及它们之间的关系 不是研究复杂的算法 数据结构中的基本概念 数据—程序的操作对象，用于描述客观事物 数据的特 阅读全文
posted @ 2019-09-05 17:49 yg_staring 阅读(301) 评论(0) 推荐(0)
机器学习理论基础01笔记
摘要：1. 大数据时代究竟改变了什么？ 思维方式 数据重要性：数据资源-->数据资产（增值） 方法论：基于知识的理论完美主义、基于数据的历史经验主义 数据分析： 统计学（抽样）.......数据科学（大数据）、数据科学家（大数据+算法+更加丰富的业务知识） 计算智能： 复杂算法 简单算法（MapReduc 阅读全文
posted @ 2019-09-04 17:47 yg_staring 阅读(200) 评论(0) 推荐(0)
matplotlib实例笔记
摘要：下面的图型是在一幅画布上建立的四个球员相关数据的极坐标图 关于这个图的代码如下： 上述代码也可以利用for循环简化一下 阅读全文
posted @ 2019-09-02 11:33 yg_staring 阅读(321) 评论(0) 推荐(0)