| | | |

2018年4月3日

摘要： spark-shell ： local模式先启动Hadoop（hdfs或其他），在启动spark集群。让spark shell运行在Spark集群上，通过spark-shell附加的参数master的设置就可以使得在spark-shell中运行的程序提交到Spark集群中： spark-shell 阅读全文

posted @ 2018-04-03 18:07 Magina_learning 阅读(116) 评论(0) 推荐(0)

Hadoop与spark的WebUI

摘要： master（Master）：8080 进入Spark的WebUI页面 master（Master）：7077 Spark集群的Master的内部监听端口 master（drivernode）：4040 从Web的角度了解Spark-shell（Ｄriver ） master（Master）：500 阅读全文

posted @ 2018-04-03 09:41 Magina_learning 阅读(218) 评论(0) 推荐(0)

hadoop-note

摘要： HaDoop文件系统HDFS的浏览器查看原创 2016年11月22日 16:43:43 标签： hadoop 原创 2016年11月22日 16:43:43 标签： hadoop 简介：HaDoop安装之后，我们需要查看其虚拟的文件系统目录及内容，这时就需要用到浏览器，可以使用虚拟机的内置浏览器，阅读全文

posted @ 2018-04-03 09:13 Magina_learning 阅读(111) 评论(0) 推荐(0)