2020年12月24日
hive到hive数据迁移
摘要： 步骤按照：https://www.it610.com/article/1292557527262765056.htm 在原hive中： 1）如果文件小： export table dm_events.dm_usereventfinal to '/tmp/hive-export/dm' 2）如果文件大 阅读全文
posted @ 2020-12-24 17:43 PEAR2020 阅读(639) 评论(0) 推荐(0)
离线数据分析之 人物兴趣取向分析（2-3） 使用pyspark构建Kmeans/随机森林完成分类预测
摘要： 一、下载包 settings -> interpreter -> + joblib 存取模型 + matplotlib + numpy + pyspark + scikit-learn 二 、先确定pyCharm能用spark.sql连接hive成功 见 https://www.cnblogs.co 阅读全文
posted @ 2020-12-24 14:38 PEAR2020 阅读(581) 评论(0) 推荐(0)
python 之sparkSQL连接hive
摘要： 可参考 https://blog.csdn.net/m0_46651978/article/details/111618085#comments_14329527 一、首先，linux上 单节点方法 1. 先把spark stop了：sbin/stop-all.sh2. 把hive里面的hive-s 阅读全文
posted @ 2020-12-24 12:38 PEAR2020 阅读(1183) 评论(0) 推荐(0)