摘要：
下载 安装 本地运行模式 使用spark-submit提交job 使用spark-shell进行交互式提交 使用local模式访问hdfs数据 spark standalone模式 spark on yarn模式 阅读全文
posted @ 2018-01-22 18:44
xu_shuyi
阅读(166)
评论(0)
推荐(0)
摘要：
1、Hive入门 2、解压Hive，到/usr/local目录，将解压后的目录名mv为hive 设定环境变量HADOOP_HOME，HIVE_HOME，将bin目录加入到PATH中 3、 4、 schematool -initSchema -dbType derby 会在当前目录下简历metasto 阅读全文
posted @ 2018-01-22 18:28
xu_shuyi
阅读(313)
评论(0)
推荐(0)
摘要：
1、java开发map_reduce程序 2、配置系统环境变量HADOOP_HOME，指向hadoop安装目录（如果你不想招惹不必要的麻烦，不要在目录中包含空格或者中文字符） 把HADOOP_HOME/bin加到PATH环境变量（非必要，只是为了方便） 3、如果是在windows下开发，需要添加wi 阅读全文
posted @ 2018-01-22 18:18
xu_shuyi
阅读(306)
评论(0)
推荐(0)
摘要：
1、配置计算调度系统Yarn和计算引擎Map/Reduce 2、namenode上配置mapred-site.xml 3、yarn-site.xml的配置 4、启动yarn集群start-yarn.sh 5、jps观察启动结果 6、可以使用yarn-daemon.sh单独启动resourcemana 阅读全文
posted @ 2018-01-22 18:13
xu_shuyi
阅读(315)
评论(0)
推荐(0)
摘要：
1、hdfs系统会把用到的数据存储在core-site.xml中由hadoop.tmp.dir指定，而这个值默认位于/tmp/hadoop-${user.name}下面， 由于/tmp目录在系统重启时候会被删除，所以应该修改目录位置。 修改core-site.xml(在所有站点上都修改) 2、hdf 阅读全文
posted @ 2018-01-22 18:10
xu_shuyi
阅读(181)
评论(0)
推荐(0)
浙公网安备 33010602011771号