2020年1月5日

本机使用sparkshell测试s3读写数据小记

摘要： //step1 下载spark,我官网下载的spark2.4.4 hadoop2.7.3预编译版本 解压即可以使用//这里需要注意一点，我本机安装了最新的openjdk13，执行sparksql的时候报错，//解决方法修改spark-env.sh 更新JAVA_HOME=/PATH/TO/JDK8 阅读全文

posted @ 2020-01-05 19:48 tneduts 阅读(1415) 评论(0) 推荐(0) 编辑

spark write data to minio test

摘要： 想在本机测试一下,spark read write to s3 cloud storeage. minio是一个不错的选择，轻量，兼容aws s3协议。 可以使用docker来做。 #拉取镜像 docker pull minio/minio#启动容器docker run -p 9000:9000 - 阅读全文

posted @ 2020-01-05 14:05 tneduts 阅读(1480) 评论(0) 推荐(0) 编辑

导航