摘要：所记均为笔者在工作中用到的一些实践方法, 目前打算把机器学习部分全都整理在一篇文章中 向量Vectors spark中的向量直接分为密集和稀疏向量,两者的表示方式也是有很大的不同. from pyspark.ml.linalg import Vectors densVec = Vectors.den 阅读全文

摘要：前言 pandas作为一个常用的数据处理与运算的框架,以其编程灵活方便受到许多数据爱好者的喜爱。在spark2.2中也添加了Pandas_UDF这一API，使得工程师们在编写spark程序时也可以运用Pandas_UDF方法可以快速改造pandas代码转向pyspark Pyspark和Pandas 阅读全文