随笔分类 -  Spark

spark 基于spark-1.5.2-bin-hadoop2.6
摘要:最近抽空搭建了Hadoop完全分布式环境,期间遇到了很多问题,大部分问题还是可以在网上搜到的,这里说下自己遇到的两个没有找到结果的问题吧。 1、启动时报:没有那个文件或目录 原因:三台机器的用户名不一致导致的 2、启动Hadoop服务之后,slave01的DataNode未启动,报错信息如下: 灵感 阅读全文
posted @ 2019-12-23 21:15 itaot 阅读(351) 评论(0) 推荐(0)
摘要:Spark集群方式搭建结构如图所示,按照主从方式。 阅读全文
posted @ 2015-12-26 00:51 itaot 阅读(155) 评论(0) 推荐(0)
摘要:本文基于的环境 官方要求的环境如下: 1、下载Spark(spark-1.5.2-bin-hadoop2.6.tgz)安装包 2、将安装包解压缩 3、启动spark 看到这个界面,证明Spark已经启动成功了 Q&A: 1、Q:Spark启动的时候报这个错 A:这是由于在没没有配置下面两个变量: 配 阅读全文
posted @ 2015-12-26 00:30 itaot 阅读(149) 评论(0) 推荐(0)