随笔分类 - Spark
spark
基于spark-1.5.2-bin-hadoop2.6
摘要:最近抽空搭建了Hadoop完全分布式环境,期间遇到了很多问题,大部分问题还是可以在网上搜到的,这里说下自己遇到的两个没有找到结果的问题吧。 1、启动时报:没有那个文件或目录 原因:三台机器的用户名不一致导致的 2、启动Hadoop服务之后,slave01的DataNode未启动,报错信息如下: 灵感
阅读全文
摘要:Spark集群方式搭建结构如图所示,按照主从方式。
阅读全文
摘要:本文基于的环境 官方要求的环境如下: 1、下载Spark(spark-1.5.2-bin-hadoop2.6.tgz)安装包 2、将安装包解压缩 3、启动spark 看到这个界面,证明Spark已经启动成功了 Q&A: 1、Q:Spark启动的时候报这个错 A:这是由于在没没有配置下面两个变量: 配
阅读全文

浙公网安备 33010602011771号