随笔分类 -  hadoop

hadoop分布式安装
摘要：1、上传2、解压 3、重命名 4、配置hadoop环境变量5、修改配置文件5.1、编辑hadoop-env.sh，修改JAVA_HOME 5.2、编辑core-site.xml修改如下 5.3、修改hdfs-site.xml，如下 5.4、修改mapred-site.xml，如下 5.4、修改yar 阅读全文
posted @ 2017-04-25 10:46 天之涯0204 阅读(151) 评论(0) 推荐(0)
hadoop 文件系统API操作
摘要：配置参数：-DHADOOP_USER_NAME=hadoop 阅读全文
posted @ 2016-11-07 17:35 天之涯0204 阅读(230) 评论(0) 推荐(0)
hadoop NameNode HA 和ResouceManager HA
摘要：官网配置地址： HDFS HA : http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html ResourceManager HA : http://h 阅读全文
posted @ 2016-10-26 16:41 天之涯0204 阅读(416) 评论(0) 推荐(0)
zookeeper分布式环境的搭建
摘要：官网配置地址：http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html 安装jdk 关闭防火墙 下载zookeeper-3.3.6并解压 进入到解压文件中的conf目录下，重命名 zoo_sample.cfg为 zoo.cfg zoo.c 阅读全文
posted @ 2016-10-24 15:41 天之涯0204 阅读(390) 评论(0) 推荐(0)
hadoop wordcount
摘要：Mapper Reducer Runner 执行: hadoop jar wc.jar com.easytrack.hadoop.mr.WCRunner2 /wordcount.txt /wc/output4 阅读全文
posted @ 2016-10-23 15:39 天之涯0204 阅读(167) 评论(0) 推荐(0)
hadoop map reduce 实例wordcount的使用
摘要：hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /wordcount.txt /wc/output3 阅读全文
posted @ 2016-10-23 14:47 天之涯0204 阅读(180) 评论(0) 推荐(0)
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform
摘要：参看：http://www.secdoctor.com/html/yyjs/31101.html 阅读全文
posted @ 2016-08-28 18:26 天之涯0204 阅读(289) 评论(0) 推荐(0)