01 2020 档案

hive3.12本地安装测试简记
摘要：前置条件： 依赖jdk,请下载jdk8并解压 依赖hadoop,请首先下载hadoop并解压 step1/hive metastore建议使用mysql进行存储，安装mysql这一步忽略，请自行安装，如果使用docker,可以使用一句docker run解决。创建hive用户密码和数据库。mysql 阅读全文

posted @ 2020-01-07 08:14 tneduts 阅读(844) 评论(1) 推荐(0)

本机使用sparkshell测试s3读写数据小记
摘要：//step1 下载spark,我官网下载的spark2.4.4 hadoop2.7.3预编译版本 解压即可以使用//这里需要注意一点，我本机安装了最新的openjdk13，执行sparksql的时候报错，//解决方法修改spark-env.sh 更新JAVA_HOME=/PATH/TO/JDK8 阅读全文

posted @ 2020-01-05 19:48 tneduts 阅读(1502) 评论(0) 推荐(0)

spark write data to minio test
摘要：想在本机测试一下,spark read write to s3 cloud storeage. minio是一个不错的选择，轻量，兼容aws s3协议。 可以使用docker来做。 #拉取镜像 docker pull minio/minio#启动容器docker run -p 9000:9000 - 阅读全文

posted @ 2020-01-05 14:05 tneduts 阅读(1641) 评论(0) 推荐(0)

导航