摘要: 转自:https://www.cnblogs.com/tnsay/p/5753838.html Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此, 阅读全文
posted @ 2020-11-20 17:03 Le1B_o 阅读(74) 评论(0) 推荐(0) 编辑
摘要: 转自:https://www.cnblogs.com/skyme/p/4651331.html 什么是熵(Entropy) 简单来说,熵是表示物质系统状态的一种度量,用它老表征系统的无序程度。熵越大,系统越无序,意味着系统结构和运动的不确定和无规则;反之,,熵越小,系统越有序,意味着具有确定和有规则 阅读全文
posted @ 2020-11-07 17:04 Le1B_o 阅读(137) 评论(0) 推荐(0) 编辑
摘要: 转自:https://snaildove.github.io/2018/10/01/9.EM_and_GEM_LiHang-Statistical-Learning-Methods/ 前言EM(期望最大)算法有很多的应用,最广泛的就是混合高斯模型、聚类、HMM等等,本质上就是一种优化算法,不断迭代, 阅读全文
posted @ 2020-11-06 17:54 Le1B_o 阅读(155) 评论(0) 推荐(0) 编辑
摘要: 转自:https://www.cnblogs.com/pinard/p/6912636.html EM算法也称期望最大化(Expectation-Maximum,简称EM)算法,它是一个基础算法,是很多机器学习领域算法的基础,比如隐式马尔科夫算法(HMM), LDA主题模型的变分推断等等。本文就对E 阅读全文
posted @ 2020-10-15 16:57 Le1B_o 阅读(90) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/wkebj/article/details/77965714 阅读全文
posted @ 2020-10-10 16:59 Le1B_o 阅读(137) 评论(0) 推荐(0) 编辑
摘要: 转自:https://blog.csdn.net/weixin_39653948/article/details/105010730 写在前面 2018年,在Coursera上学习Google的课程时,使用到了Colab,当时了解不深,老是放开课程链接,不需要配置,只需要密钥就可以做相关作业和演示代 阅读全文
posted @ 2020-08-28 22:13 Le1B_o 阅读(562) 评论(0) 推荐(0) 编辑
摘要: 转自:https://www.jianshu.com/p/06c6f9e50974 最简单的注册UDF 直接将lambda表达式注册成UDF 下面是一个简单的清洗函数 from pyspark.sql.types import StringType spark.udf.register('sex_d 阅读全文
posted @ 2020-08-12 19:52 Le1B_o 阅读(1611) 评论(0) 推荐(0) 编辑
摘要: 自定义聚合函数 UDAF 目前有点麻烦,PandasUDFType.GROUPED_AGG 在2.3.2的版本中不知怎么回事,不能使用! 这样的话只能曲线救国了! PySpark有一组很好的聚合函数(例如,count,countDistinct,min,max,avg,sum),但这些并不适用于所有 阅读全文
posted @ 2020-08-12 19:49 Le1B_o 阅读(457) 评论(0) 推荐(0) 编辑
摘要: 转自:https://www.jianshu.com/p/9d3d0c64c894 最后一次更新日期: 2019/4/13 NumPy 是一个 Python 包。 它代表 “Numeric Python”。 它是一个由多维数组对象(ndarray)和用于处理数组的例程集合组成的库。 使用NumPy, 阅读全文
posted @ 2020-07-28 20:50 Le1B_o 阅读(324) 评论(0) 推荐(0) 编辑
摘要: 转自:https://mp.weixin.qq.com/s/EMCZHuvk5dOV_Rz00GkJMA 【文末有彩蛋!】推荐阅读时间:8min~13min主要内容:简介明了的讲解一些Attention Model的套路和理论 作者:YBB单位:清华大学研究生1Attention 的本质attent 阅读全文
posted @ 2020-05-25 14:38 Le1B_o 阅读(614) 评论(0) 推荐(0) 编辑