读数据分析思维通识课04大数据算法(上)

1. 趋势分析与回归
1.1. 回归
-
1.1.1. 由英国生物学家弗朗西斯·高尔顿(Francis Galton)提出来的
-
1.1.2. 就是研究一个变量和另外一个变量的变化关系
-
1.1.2.1. 其中一个变量叫作因变量,另外一个变量叫作自变量
-
1.1.3. 多元回归研究的是一个因变量和多个自变量之间的关系
1.2. 回归的种类与使用
-
1.2.1. 线性回归
-
1.2.1.1. 线性回归中最简单的形式就是一元线性回归
-
1.2.1.2. 及两个变量,一个叫作因变量(Y),另一个叫作自变量(X)。
-
1.2.1.3. 可以用Y=a+bX 这个公式来拟合一元线性回归方程
-
1.2.1.4. 线性回归对异常值非常敏感,一个异常值可能会显著影响预测结果
-
1.2.1.5. 很多时候你并不确定这些异常点到底是异常值还是数据的实际规律,这就需要非常有经验的数据分析师和算法专家的参与
-
1.2.1.6. 数据挖掘难的不是算法,而是怎么准确剔除异常点,以及找到影响因子等执行算法之前的数据准备工作
-
1.2.2. 逻辑回归
-
1.2.2.1. 逻辑回归被广泛用于解决分类问题,也就是把“成功/失败”“哪一种颜色”这类问题变成线性回归的形式
-
1.2.2.2. 基本逻辑就是把离散的因变量Y变成一个连续值,然后再做回归分析
-
1.2.2.3. 将事件Y发生的概率除以事件Y不发生的概率,再取对数值,这样就把一个非连续的数据变成连续数据了
-
1.2.2.4. logit(Y)=log(事件Y发生的概率/事件Y不发生的概率)
1.2.2.4.1. logit变化,再通过各种各样的线性回归或分类算法
-
1.2.3. 多项式回归
-
1.2.3.1. 多项式回归可能涉及多个指数项,其最佳拟合线不是直线,而很可能是一条曲线
-
1.2.3.2. 最常见的问题就是*过拟合和欠拟合
-
1.2.4. 只能够推断出一个变量对另一个变量有依赖关系,但并不代表它们之间就有因果关系,因果关系的确立必须有来自统计之外的一些业务依据
-
1.2.4.1. 两个变量之间有回归逻辑,并不代表这两个变量之间有因果逻辑
1.3. 均值回归
-
1.3.1. 现实生活不一定有我们在算法中预测得那么好
-
1.3.2. 实际发生的数据比理论上的预测更接**均值,整体趋势是慢慢向一个*均值发展
-
1.3.3. 均值回归,对任何优秀的人和团队来说,很多时候其实是运气、能力和时机等多种因素共同造就了成功
-
1.3.4. 好的没你想的那么好,差的也没你想的那么差,最终还是会回到*均水*
-
1.3.4.1. 现实比我们预测出来的结果更加贴*于*庸:好的没有我们预测的那么好,差的也没有我们预测的那么差
-
1.3.5. 每天都会遇到均值回归的情况
-
1.3.5.1. 不应过分夸大优秀者的能力,也不要因为几次失败就一蹶不振,过度低估自己
-
1.3.5.2. 只要你不懈努力,即使你现在处于人生低谷,最终也能回归甚至超越*均水
-
1.3.5.3. 工作和生活中,我们要保持一颗*常心,不断提高自己的*均水*,这才是正确选择
-
1.3.5.4. 人和人之间的差距并非不可逾越,不迷信“优生学”或“龙生龙凤生凤,老鼠的儿子会打洞”这类宿命论的说法
2. 聚类算法
2.1. 内聚
2.2. 分离
2.3. 聚类就是通过一些算法,把这些事物自动聚集起来,让这些聚集的类别(如花类和叶子类)达到“内聚”和“分离”的特性
2.4. 股市中经常听到的“蓝筹股”“ 白马股”,就是通过类似聚类的方法总结出来的
2.5. 让数据自己聚集出类别,所以聚类算法也叫作无监督学习算法
- 2.5.1. 没有人告诉你最终的正确答案是什么,你需要自己决定如何把它们分成比较合适的类别
2.6. 组内的相似性越大,组间差别越大,聚类效果就越好
2.7. 当你面对很多数据,想要探查其中的规律时,先使用聚类算法再进行深入分析,就可以达到事半功倍的效果
2.8. 聚类算法的输入就是一堆杂乱无章的数据,输出是若干小组,并且这些小组会把数据分门别类地存放
- 2.8.1. 组内对象相互之间是相似的(内聚),不同组的对象是不同的(分离)
2.9. 人类天生具备归纳和总结的能力,能够把相似的事物归为一类,尽管它们之间有细微差别,但是在我们心里有一个“差异距离”
- 2.9.1. 只要在这个差异范围内,它们仍然属于一类事物,而一旦超过这个“差异距离”,我们就会将它们视为不同类别
2.10. “选大哥”算法
-
2.10.1. 第1步,随意挑选两个点,作为初始“大哥”
-
2.10.1.1. 找聚类中心的问题
-
2.10.2. 第2步,根据距离“拉帮结派”
-
2.10.2.1. 解决距离表示的问题
-
2.10.3. 第3步,开“帮派大会”重新选“大哥”
-
2.10.3.1. 聚类收敛方法的问题
-
2.10.4. 第4步,回到第2步,根据选出来的“新大哥”再次“拉帮结派”
2.11. 最终任何事物的特征属性都可以转化为类似距离的度量来计算
2.12. 除了k均值算法,常见的聚类算法还有KNN算法、DBSCAN算法、EM算法等
2.13. 使用聚类算法时需要先把一些异常点尽量剔除,或者单独将它们聚为一类,否则一些异常数据会影响聚类算法最终的准确性
2.14. 应用场景
-
2.14.1. 聚类已经逐步由过去的只针对数据,扩展为现在可以实现图片、声音和视频的聚类了
-
2.14.2. 在线下的行为轨迹分析中,也可以用聚类方法识别人群最密集的区域
-
2.14.3. 聚类在很多领域都非常有用,例如辅助医疗科研、辅助医疗管理、辅助医生做临床诊断、辅助生物学中的蛋白质表达等
-
2.14.4. 聚类算法是最基础的数据挖掘算法,也是经久不衰的算法之一
-
2.14.5. 图像、基因、医疗等领域都有聚类算法的身影
2.15. 聚类算法可以帮助我们在复杂的数据环境里快速聚集一些类别,从而揭示这些数据的特征
2.16. 不仅能帮助我们避免因直接使用*均值而导致的辛普森悖论,还能防止我们因过度深入细节而看不到事物的全貌
2.17. 用聚类算法的思路,将纷扰的小事统一归到一个篮子里,集中时间处理,说不定会有奇效
- 2.17.1. 采用聚类算法的方式思考,可以使你的思维更加结构化,帮助你更快理清琐碎的生活
3. 分类算法
3.1. 不一定所有事物在一开始都要进行聚类
3.2. 与聚类算法不同,分类算法是有训练数据集的,也就是说,我们一开始就拥有一系列正确的数据和分类结果
3.3. 分类算法的任务是经过不断学习,找到其中的规律,并做一些测试,最后在生产环境中帮助你判断一些新数据的分类
3.4. 分类算法会不停地告诉你这个分类是哪种,直到你学会为止,最后才让你自己单独进行区分
3.5. 分类算法也叫有监督学习算法,也就是得有人看着你做题
3.6. 停车场的车牌自动识别功能也是用分类算法实现的
3.7. C4.5决策树算法
-
3.7.1. “逐级找领导”算法
-
3.7.2. 第1步,把每个属性都当“领导”试一下
-
3.7.3. 第2步,通过一个叫信息熵的指标计算分群的差异性
-
3.7.3.1. 信息熵”这个词在算法里会经常用到,它表示每个消息所包含信息的*均量
-
3.7.3.2. 言简意赅的人所说的每个字的信息熵较大,废话连篇的人所说的每个字的信息熵就较小
-
3.7.4. 第3步,对比这几个“领导”做完决策之后各自信息熵的大小
-
3.7.5. 第4步,“大领导”有了,现在我们需要一些“小领导”
-
3.7.6. 第5步,精简“领导班子”
3.8. 应用场景
-
3.8.1. 分类算法已被广泛应用在人工智能图像识别等场景中
-
3.8.2. 自动驾驶中针对人、路的识别,用的都是分类算法
-
3.8.3. 分类算法结合人工智能可以有大量更深层次的应用,最终可能会造出一种类似人类的智能模型
3.9. 分类算法就是让机器模拟人类学习的过程,通过各种各样的案例帮助计算机学习,最终形成一个类似人类做单独决策的过程
3.10. 分类算法的核心在于不断积累经验,迭代规则,从而得到最好的答案
4. 关联规则
4.1. 关联规则经常出现在各种各样的数据场景中,用于挖掘数据之间的潜在关系
4.2. 最早也是最著名的案例就是“啤酒和尿布”的故事
- 4.2.1. 啤酒和尿布经常被摆放在一起售卖
4.3. 意义在于通过进行关联规则挖掘,能够让我们发现一些意想不到的知识
4.4. 支持度:某个商品组合出现的次数与总次数之间的比例,也就是这个商品组合整体发生的概率
4.5. 置信度:购买了商品A后有多大概率购买商品B,也就是在A发生的情况下B发生的概率
4.6. 提升度:衡量商品A的出现对商品B出现概率的提升程度,A对B的提升度为(A→B)=置信度(A→B)/支持度(B)
4.7. 目标是找到置信度高且支持度大的场景
4.8. 连坐算法
4.9. 能够帮助我们去掉很多没有必要测试的组合
4.10. Apriori算法的优点是可以产生相对较小的候选集,缺点是需要重复扫描数据库,且扫描的次数由最大频繁项目集中的项目数决定,因此Apriori算法适用于最大频繁项目集相对较小的数据集
-
4.10.1. FP-Growth算法修正了这些问题
-
4.10.2. 用于关联规则挖掘的算法还有很多,如SETM算法、Eclat算法等
4.11. 两步
-
4.11.1. 找出所有频繁组合
-
4.11.2. 由频繁组合产生规则,从中提取置信度高的规则
4.12. 如果获取的数据出现偏差,则使用关联规则容易得到错误的结果,且可能生成太多无用的规则
4.13. 应用场景
- 4.13.1. 关联规则已经不仅仅出现在交易数据分析中,随着物联网和人工智能算法的发展,它越来越多地出现在一些有趣的场景中
4.14. 利用关联规则挖掘,我们可以找到复杂事物中强相关的一些组合,对这些组合进行分析,就可以提高整体销量或者进行有效的关联促销
4.15. 把握住与自己关联性最强的那些事情,而把关联性不强的事情舍弃掉
4.16. 尝试用关联规则算法的思想,审视你手中的资源,看能不能用“连坐”算法对整体无关的事务、人脉进行“断舍离”,集中精力把与你关联最强的事情做好
4.17. 数据给了你一双看透本质的眼睛,利用好关联规则,找到自己生命中置信度最高、支持度最大的频繁集,规划好自己的人生
浙公网安备 33010602011771号