脆皮软心 - 博客园

2019年7月4日

摘要： https://dwz.cn/nsQg778w 阅读全文

posted @ 2019-07-04 16:10 脆皮软心阅读(173) 评论(0) 推荐(0) 编辑

摘要：特征选择是特征工程中的重要问题（另一个重要的问题是特征提取），坊间常说：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程尤其是特征选择在机器学习中占有相当重要的地位。根据特征选择的形式又可以将特征选择方法分为3种： Filter(过滤式) Wrapper(包裹式阅读全文

posted @ 2019-07-04 14:59 脆皮软心阅读(453) 评论(0) 推荐(0) 编辑

决策树

摘要： 1. 决策树决策树 (Decision tree,DT) 是一种基本的分类与回归方法。它是一个树形结构，对于指定特征空间上的数据点来说，总能顺着决策树的根节点一步步分配到子节点最终到达叶节点，而叶节点表示了该数据点所属的分类。在每一次分配到子节点的过程中可以看作是对数据点中特有的特征属性值进行的阅读全文

posted @ 2019-07-04 11:44 脆皮软心阅读(947) 评论(0) 推荐(0) 编辑

数据库与数据仓库的区别实际讲的是OLTP与OLAP的区别

摘要：什么是数据仓库数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。数据仓库的特点 1．数阅读全文

posted @ 2019-07-04 10:17 脆皮软心阅读(2112) 评论(0) 推荐(0) 编辑

2019年7月3日

ETL 的一些概念

摘要： 1. What is a logical data mapping and what does it mean to the ETL team? 什么是逻辑数据映射？它对ETL项目组的作用是什么？答：逻辑数据映射（Logical Data Map）用来描述源系统的数据定义、目标数据仓库的模型以及将阅读全文

posted @ 2019-07-03 15:07 脆皮软心阅读(2156) 评论(0) 推荐(1) 编辑

ETL讲解

摘要： ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 ETL的阅读全文

posted @ 2019-07-03 15:04 脆皮软心阅读(249) 评论(0) 推荐(0) 编辑

2019年7月2日

均值、方差、协方差、协方差矩阵、特征值、特征向量

摘要：线性变化：线性变换(线性映射)是在作用于两个向量空间之间的函数，它保持向量加法和标量乘法的运算，从一个向量空间变化到另一个向量空间。实际上线性变换表现出来的就是一个矩阵。特征值和特征向量是一体的概念：对于一个给定的线性变换（矩阵A），它的特征向量 ξ 经过这个线性变换之后，得到的新向量仍然与原阅读全文

posted @ 2019-07-02 15:06 脆皮软心阅读(752) 评论(0) 推荐(0) 编辑

浅谈梯度下降法

摘要：梯度下降法是机器学习里比较基础又比较重要的一个求最小值的算法。梯度下降算法过程如下： 1）随机初始值 2）在这里，简单谈一下自己对梯度下降法的理解。首先，要明确梯度是一个向量，是一个n元函数f关于n个变量的偏导数，比如三元函数f的梯度为(fx,fy,fz)，二元函数f的梯度为(fx,fy），一元阅读全文

posted @ 2019-07-02 11:08 脆皮软心阅读(1069) 评论(0) 推荐(0) 编辑

结合日常生活的例子，了解什么是卡方检验

摘要：卡方检验，统计学的方法，现在机器学习看变量的时候也会用到。很多不知道的人，一听到这个名词，会马上联想到，啊？还要拿张卡来检验吗？其实卡方检验是英文Chi-Square Test 的谐音。在大数据运营场景中，通常用在某个变量(或特征)值是不是和应变量有显著关系。我常听到运营和分析师这样的对话，阅读全文

posted @ 2019-07-02 09:19 脆皮软心阅读(4423) 评论(0) 推荐(0) 编辑

2019年6月17日

Spark运行原理【史上最详细】

摘要： https://blog.csdn.net/lovechendongxing/article/details/81746988 Spark应用程序以进程集合为单位在分布式集群上运行，通过driver程序的main方法创建的SparkContext对象与集群交互。 1、Spark通过SparkCont 阅读全文

posted @ 2019-06-17 11:46 脆皮软心阅读(1934) 评论(0) 推荐(0) 编辑