随笔分类 -  pysaprk

SynapseML MMLSpark 集群 机器学习 训练
摘要：spark-shell --packages com.microsoft.azure:synapseml_2.12:0.9.5 pyspark --packages com.microsoft.azure:synapseml_2.12:0.9.5 spark-submit --packages co 阅读全文
posted @ 2022-06-02 11:19 cup_leo 阅读(552) 评论(0) 推荐(0)
pyspark 常用rdd函数例子
摘要：## mapPartions def model_pred(partitionData): updatedData = [] for row in partitionData: pred_value = model.value.predict([row[2:]])[0] pred_value = f 阅读全文
posted @ 2022-05-10 21:25 cup_leo 阅读(110) 评论(0) 推荐(0)