2022年8月19日
spark程序如何在不同的安装模式下运行
摘要： 1. 本地 spark-submit --class org.apache.spark.examples.SparkPi --master local[2] /opt/app/spark-2.3.1/examples/jars/spark-examples_2.11-2.3.1.jar 100 2. 阅读全文
posted @ 2022-08-19 16:44 jsqup 阅读(15) 评论(0) 推荐(0)
spark配置(yarn)
摘要： spark关联hadoop的环境 [root@node1 conf]# pwd /opt/app/spark-2.3.1/conf [root@node1 conf]# vi spark-env.sh HADOOP_CONF_DIR=/opt/app/hadoop-2.8.5/etc/hadoop 阅读全文
posted @ 2022-08-19 12:12 jsqup 阅读(39) 评论(0) 推荐(0)
访问端口总结
摘要： ||启动方式|访问端口| |--|--|--| |HDFS|start-dfs.sh|NameNode(9000 API操作；50070 web访问端口)| |||DataNode(50010 dn和nn通信的端口；50075(datanode的web访问端口)| |||snn(50090 snn的 阅读全文
posted @ 2022-08-19 12:06 jsqup 阅读(61) 评论(0) 推荐(0)
spark历史服务器配置
摘要： [root@node1 conf]# pwd /opt/app/spark-2.3.1/conf [root@node1 conf]# mv spark-defaults.conf.template spark-defaults.conf [root@node1 conf]# vi spark-de 阅读全文
posted @ 2022-08-19 11:38 jsqup 阅读(48) 评论(0) 推荐(0)
spark伪分布式搭建(standlone)
摘要： spark伪分布式搭建 # 配置环境 [root@node1 spark-2.3.1]# vi /etc/profile { export SPARK_HOME=/opt/app/spark-2.3.1 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sb 阅读全文
posted @ 2022-08-19 11:13 jsqup 阅读(74) 评论(0) 推荐(0)