读数据分析思维通识课05大数据算法(下)

1. 蒙特卡洛算法与拉斯维加斯算法
1.1. 两个算法的目标都是利用随机方法简化算法流程,解决一些看似没有办法通过正常算法解决的实际问题
- 1.1.1. 蒙特卡洛算法和拉斯维加斯算法并不是两种具体算法,而是两类算法的总称
1.2. 蒙特卡洛算法
-
1.2.1. 蒙特卡洛算法起源于20世纪40年代,由S.M.乌拉姆和约翰·冯·诺依曼首次提出
-
1.2.2. 蒙特卡洛算法的原理很简单,就是每次计算都尽量尝试寻找更好的结果路径,但不保证是最好的结果路径
-
1.2.3. 能够确保无论何时都会有结果出来,而且给的时间越多、尝试越多,得到的结果就越近似最优解
-
1.2.4. 持续保留较好的答案,一直执行N次(N<500),最终拿到的一定近似正确解
-
1.2.5. 根据大数定律,当随机事件发生的次数足够多时,其发生的频率就会趋近于预期的概率
-
1.2.6. 蒙特卡洛算法的基本思想是精益迭代,进行多次求解,从而让最后的结果成为正确结果的可能性变大
-
1.2.7. 蒙特卡洛算法鼓励你持续努力,直到自己满意了就可以停下来
1.3. 拉斯维加斯算法
-
1.3.1. 拉斯维加斯算法是1979年拉斯洛·巴贝(László Babai)在解决图同构问题时,针对蒙特卡洛算法的弊端提出来的
-
1.3.2. 拉斯维加斯算法的原理也很简单,就是每次计算都尝试找到最好的答案,但不保证这次计算就能找到最好的答案,尝试的次数越多,就越有机会找到最优解
-
1.3.3. 挨个尝试换钥匙开锁的算法就是拉斯维加斯算法
-
1.3.4. 拉斯维加斯算法的基本思想是不断进行尝试,直至某次尝试结果让我们满意,尽管这个过程中会一直产生无法让人满意的随机值
-
1.3.5. 拉斯维加斯算法的效率通常低于蒙特卡洛算法,但是它最终得到的解一定是问题的正确解,当然也有可能无法得到问题的解
-
1.3.6. 拉斯维加斯算法也鼓励持续努力,但找不到最佳答案就誓不罢休
1.4. 应用场景
-
1.4.1. 蒙特卡洛算法
-
1.4.1.1. 计算风险价值(Value at Risk,VaR):VaR试图以一个明确的数值来对投资组合进行风险评估
-
1.4.1.2. 自动化交易:在进行股票和期货交易时,利用蒙特卡洛算法的双均线系统模拟各种买进、卖出及其他操作,最终得出一个近似最好的执行方案
-
1.4.1.3. 衍生品定价:针对市场的各种情况,对衍生品的价格进行模拟,最终计算出特别复杂的衍生品的价格
-
1.4.1.4. 有些场合则需要使用蒙特卡洛算法,尤其在有比较清晰的方案但需要快速决策的场景中,拖延可能会导致更糟糕的结果
-
1.4.2. 拉斯维加斯算法
-
1.4.2.1. 适用于那些需要精益求精,无论花多少时间都要求将事情做细致、做准确的场合
1.4.2.1.1. 稍有疏漏,后果会非常严重
1.5. 在有限的时间和资源情况下,不要一直思考或者规划找到“最优解”,而是通过快速迭代原型产品,并根据用户的反馈不断修正产品方案,以期在有限的条件下得到较为不错的结果。虽然这个结
-
1.5.1. 结果不一定是最优的,但相比拉斯维加斯算法那种闭门造车寻找最优解,直到耗尽资源和时间要好
-
1.5.2. 要根据自己的资源和时间限制,灵活选择是使用蒙特卡洛算法还是拉斯维加斯算法来处理事情,毕竟我们的时间和精力都是有限的
1.6. 要从更高维度进行思考,不要把有限的时间和精力浪费在不必要的事情上,整体的做事思路是抓大放小
- 1.6.1. 重要的事情要用拉斯维加斯算法,任何细节都不要放过,确保决策的正确性
2. 马尔可夫链
2.1. 现实生活中充满了很多与事情顺序相关的过程
2.2. 一件事情发生后会影响另一件事情的结果,而这些事情往往是按照某个规律先后发生的
2.3. 找到它们的内部运行规律,从而预测当这一系列事件达到平衡时,当前状态的下一步最有可能发生的情况
2.4. 马尔可夫链因俄国数学家安德烈·马尔可夫得名,它定义为状态空间中经过从一个状态到另一个状态的转换的随机过程
2.5. 该过程要求具备“无记忆”的性质,也就说,下一个状态的概率分布只能由当前状态决定,与时间序列中前面的事件无关
2.6. 马尔可夫最开始建立马尔可夫链时,最著名的应用就是从一份俄罗斯诗歌作品中统计几千个两字符对,用这些两字符对计算每个字符出现的概率
- 2.6.1. 就是给定这份诗歌里的一个字符,就能预测紧跟着的下一个字符
2.7. 股市里,每个状态转换的概率要复杂得多
2.8. 马尔可夫链蒙特卡洛(Markov Chain Monte Carlo,MCMC)算法
- 2.8.1. MCMC算法由梅特罗波利斯于1953年在美国洛斯阿拉莫斯实验室提出,本质上是将马尔可夫链应用于蒙特卡洛算法的计算过程中
2.9. 应用场景
-
2.9.1. 马尔可夫链的应用非常广泛,如天气预测、食品销售的预测、GDP的涨幅预测、企业人员的变动预测等,都可以通过马尔可夫链来解决
-
2.9.2. 在人工智能领域,Siri中的自然语言识别就经常会用到马尔可夫链
2.10. 马尔可夫链预测结果的好坏依赖于概率转移矩阵的准确性,而概率转移矩阵的准确性最后又依赖于算法估算方法的合理性
2.11. 马尔可夫链本身也有局限性
- 2.11.1. 马尔可夫链假设后一个状态只与前一个状态相关,而与更靠前的状态无关
2.12. 真正的失败很多时候是个人遭遇失败后一蹶不振,陷入失败的状态而无法自拔
- 2.12.1. “没有迈不过去的坎”这句话从马尔可夫链的视角来看,那就是你现在的状态只与你上一个状态相关,与整体无关
2.13. Tomorrow is another day
- 2.13.1. 你的未来只取决于你当下做了什么,而不是过去你曾经做过什么,毕竟“明天又是新的一天”
3. 协同过滤
3.1. 可以从大量人群的整体行为中找到规律,实现从个体上无法达到的算法效果
- 3.1.1. 最著名的一个就是协同过滤算法
3.2. 协同过滤是指用户可以齐心协力,通过不断地与算法互动,在多如牛毛的选择中过滤掉自己不感兴趣的选择,而保留自己感兴趣的选择
- 3.2.1. 一种利用“集体智慧”的复合算法思想
3.3. 协同过滤算法在1992年被施乐公司提出,并用于个性化推送的邮件系统
3.4. 1994年,协同过滤算法开始引入集体智慧的理念,也就是通过更多的人群和数据获取相关知识
- 3.4.1. 允许用户提交自己的行为和反馈,从而创造出一种比任何个人和组织都更强大的机制,自动给用户发送喜欢的文章
3.5. 推荐系统需要具备快速响应和高准确度两个特点,而协同过滤算法正好满足了这两点要求,这也是该算法经久不衰的原因
3.6. 协同过滤算法的应用已从单一系统内的邮件过滤扩展到跨系统的新闻电影推荐,再到我们看到的短视频
3.7. 基于用户的协同过滤
-
3.7.1. User-based Collaborative Filtering
-
3.7.2. 基于用户之间的相似性,给你推荐你喜欢的内容,而过滤掉你可能不喜欢的
-
3.7.3. 优点
-
3.7.3.1. 基于用户的协同过滤可以找到用户之间的相似程度,所以能够反映一些物品在小群体范围内的热门程度
-
3.7.3.2. 能够给用户带来一些惊喜。因为是根据类似用户的喜好做的推荐,用户会发现自己对一些未知事物也是感兴趣的
-
3.7.3.3. 对一些新的有意思的商品比较友好
3.7.3.3.1. 一旦有新的商品被某个群体的用户购买了,马上就可以将它们推荐给这个群体的其他用户
-
3.7.4. 缺点
-
3.7.4.1. 如果你是一个新用户,你可能无法马上找到与你类似的人,所以无法马上获得准确的推荐
-
3.7.4.2. 系统推荐虽然会给你带来惊喜,但它们不太具有解释性
3.7.4.2.1. 系统不知道推荐给你的是什么,只知道你的朋友都在用
-
3.7.4.3. 对于用户群比较大的公司,计算用户之间的相似度会耗费大量计算资源
-
3.7.5. 随着用户变得更多,用户的期待也更高了,系统一般会过渡到采用基于用户的协同过滤算法
3.8. 基于物品的协同过滤
-
3.8.1. Item-based Collaborative Filtering
-
3.8.2. 需要计算物品之间的相似程度,并且也要用到一些倒排算法、物品特征选取算法以及噪声过滤算法
-
3.8.3. 优点
-
3.8.3.1. 推荐更加针对用户自身,反映了每个用户自己的决策,系统根据用户购买的一个商品来做推荐
-
3.8.3.2. 实时性比较强,用户每次点赞和购买商品都可以对其他有意购买此商品的用户起到推荐作用
-
3.8.3.3. 推荐的结果很好解释,因为它们都是类似的或关联度很高的商品,推荐效果显而易见
-
3.8.4. 缺点
-
3.8.4.1. 对新加入的商品反馈速度比较慢,因为没有人购买和互动,所以可能会有一些很好的商品没有被很好地推荐
3.8.4.1.1. 进而又因为推荐的人少,它们被推荐给用户的可能性更低,出现“产品死角”
- 3.8.4.2. 不会给用户带来惊喜
3.8.4.2.1. 大部分物品的关联度比较高,惊喜程度不高
- 3.8.4.3. 对于商品或物品更新比较快的领域不适用,比如新闻
3.8.4.3.1. 等到你推荐给别人看,可能这个新闻就过时了
-
3.8.5. 一般对小型推荐系统来说,基于物品的协同过滤是主流
-
3.8.5.1. 基于物品的协同过滤算法的计算量比较小,上手比较快
3.9. 基于模型的协同过滤
- 3.9.1. Model-based Collaborative Filtering
3.10. 协同过滤算法基于集体智慧给你带来新鲜的推荐和你感兴趣的内容,因此它对具体某一个体的实际需求并没有做太多的考量
3.11. 协同过滤算法只考虑物品和用户之间的关系,而没有考虑用户所处的场景,所以推荐的内容可能不太有效
3.12. 最大的弊端在于,它像一个溺爱的母亲,总是会给你想要的东西,它并没有价值观,你会被“惯”得越来越没有节制,把时间全都浪费在各种各样的短视频、小文章,以及你钟爱的小圈子上,而忽视了更广泛的学习和成长
3.13. 最大的价值就是颠覆了过去我们常见的一个规则—帕累托法则(即二八法则):20%的大品牌占据80%的市场,而小品牌只占据剩下20%的市场
3.14. 协同过滤算法让每个人的品牌偏好得到充分传播,让长尾品牌“聚沙成塔”
- 3.14.1. 帮助与主流有所不同的一些小众品牌,逐渐让喜好它们的人群接触到
3.15. 你的心态应该更加开放,不要盲目追求主流,毕竟主流和大众的不一定是最适合自己的,个人圈子中应该有个性化的元素
3.16. 你的价值观也应该更加开放,而不能沉浸在自己的小圈子里
- 3.16.1. 协同过滤算法给你的都是你喜欢的,你应该以开放的心态去接受和尝试各种新的、主流或非主流的事物,并根据自己的经验做判断
3.17. 请不要沉浸在某些短视频App或网站根据你的兴趣推荐的碎片化文章里
4. 人工智能算法
4.1. 1979年,在没有人干预的情况下,美国斯坦福大学的Stanford Cart可以在房间内规避障碍物自动行驶,这相当于当时的无人驾驶系统
4.2. 得益于2006年加拿大多伦多大学教授、机器学习领域泰斗、神经网络之父杰弗里·辛顿(Geoffrey Hinton)和他的学生拉斯·萨拉克赫迪诺弗(Ruslan Salakhutdinov)在顶级学术刊物《科学》上发表的一篇文章,这篇文章提出了深层神经网络算法,并在2012年通过CNN的应用碾压了过去数年的分类算法等机器学习算法
4.3. CNN和RNN
-
4.3.1. 深度学习算法就是模拟人的脑神经网络来制造一个高度接近人类的分类器
-
4.3.2. 可以识别我们所说的话,还可以识别视频中的图像内容,进而应对各种各样的情况
-
4.3.3. 最流行的两个深度学习算法是RNN(Recurrent Neural Network,循环神经网络)和CNN(Convolutional Neural Network,卷积神经网络),它们都能模拟人脑中多个神经元的多层次连接方式,并通过大量的反馈和计算来实现预期效果
-
4.3.4. RNN之所以能够处理这种序列数据,是因为其中有一个“反馈环”,它能够模拟人脑,使得前面的输入也能影响到后面的输出,相当于在模拟人脑的记忆功能
-
4.3.5. CNN能够分层次地提取特征,从而能够将大量的数据有效地抽象成较小的数据量,而不影响最后的训练结果
-
4.3.5.1. 既能够保留图片和视频原来的特征,也不会在识别时占用太多的计算资源
-
4.3.6. CNN模拟了人眼和人脑识别事物的过程
-
4.3.6.1. 所看到的世界其实是由无数像素组成的,但我们的眼睛不会识别单个像素,只能看到物体的边界,然后我们的大脑会自觉地把它们组合成一些部件,并把这些部件识别成人脸或物体
-
4.3.7. 卷积层神经网络,主要作用是保留图片的特征
-
4.3.8. 池化层神经网络,主要作用是对数据进行降维,这可以有效避免过拟合
-
4.3.9. 全连接层神经网络,主要作用是根据不同任务输出我们想要的结果
-
4.3.10. CNN经常被用于图片分类、视频检索、目标分割与识别等
4.4. 深度学习算法
-
4.4.1. 深度学习算法不仅可以帮助我们构建一个能够打败人类对手的围棋算法模型,还可以做很多不可思议的事情
-
4.4.2. 模拟人类玩《王者荣耀》
-
4.4.3. 帮助我们实现自动驾驶和识别
-
4.4.4. 模仿人类画水墨画,几乎可以以假乱真
-
4.4.5. 帮助人类探索生命的根基
4.5. 随着计算机计算能力越来越强,人类700多年来的幻想正逐步变成现实
4.6. 人工智能算法是有监督学习算法,无论通过什么样的方式模拟,机器都无法通过一个有规则的算法适配当今无规则的现实世界,更无法模拟人类的情感、灵感和创造力
4.7. 数据给了你一双看透本质的眼睛,算法则让你看清数据背后的规律
浙公网安备 33010602011771号