摘要：
1.背景 目前大数据使用的是Amazon EMR集群，该集群可根据计算需求变化灵活扩展或收缩集群，就会存在一个问题：当spark任务提交之后，EMR集群会根据计算的需求进行扩展，新扩展的机器上python环境各不相同，并且每次扩展的机器ip不相同（不是同一台机器），对某些第三方包，例如：pandas 阅读全文
随笔档案-2020年08月
idea配置本地spark本地开发环境
2020-08-22 13:47 by 倪平凡, 1836 阅读, 收藏,
摘要：
1.配置JDK 省略 2.配置scala 省略 3.配置hadoop 1.下载所需要的hadoop版本，并解压 https://archive.apache.org/dist/hadoop/common/ 下载之后解压到一个目录下，例如： F:\bigdata\software\hadoop-2.8 阅读全文
浙公网安备 33010602011771号