随笔分类 -  Spark

Spark学习笔记
摘要：SparkContext：从Spark2.0开始之后，spark使用全新的SparkSession接口代替Spark1.6的的SQLContext和HiveContext 1 //set up the spark configuration and create contexts 2 val spa 阅读全文
posted @ 2019-07-29 14:07 奔跑的汉尼拔 阅读(243) 评论(0) 推荐(0)
Spark踩坑日常
摘要：Spark连接到HDFS报错：ConnectException:Call From to master:8020 原因：Hadoop的master端口设置为9000，core-site.xml： 而Spark访问的默认端口为8020，端口不一致导致 解决方案： 修改core-site.xml 修改h 阅读全文
posted @ 2019-07-25 11:19 奔跑的汉尼拔 阅读(463) 评论(0) 推荐(0)
hdfs
摘要：hdfs haadmin -getServiceState nn1 hdfs haadmin -transitionToActive --forcemanual nn1 阅读全文
posted @ 2019-07-02 15:17 奔跑的汉尼拔 阅读(92) 评论(0) 推荐(0)
ZooKeeper集群搭建
摘要：Ubuntu 64 18.10 VMware 15.0.2 Win10 apache-zookeeper-3.5.5-bin.tar.gz 修改/etc/hosts，设置IP:hostname 设置hostname：修改/etc/hostname;修改/etc/cloud/cloud.cfg，pre 阅读全文
posted @ 2019-07-01 21:24 奔跑的汉尼拔 阅读(216) 评论(0) 推荐(0)
Spark Standalone集群搭建
摘要：Win10 VMware 15.0.2 Ubuntu 18.10 hadoop-2.7.7.tar.gz jdk-8u212-linux-x64.tar.gz sbt-1.2.8.tgz scala-2.12.8.tgz spark-2.4.3-bin-hadoop2.7.tgz 1 # set h 阅读全文
posted @ 2019-06-30 22:33 奔跑的汉尼拔 阅读(325) 评论(0) 推荐(0)