随笔分类 -  hadoop

wordcount代码实现详解
摘要：阅读目录 1、MapReduce整体流程 2、WordCount源码 3、WordCount逐行解析 阅读目录 1、MapReduce整体流程 2、WordCount源码 3、WordCount逐行解析 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储 阅读全文

posted @ 2017-07-13 16:58 厚积！！ 阅读(4139) 评论(1) 推荐(0)

linux中ssh登录Permanently added (RSA) to the list of known hosts问题解决
摘要：文章出自http://www.2cto.com/os/201307/227199.html linux中ssh登录Permanently added (RSA) to the list of known hosts问题解决 用用户名＋密码的方式登录出现以下问题： 1 [root@www]# ssh 阅读全文

posted @ 2016-03-19 10:25 厚积！！ 阅读(64316) 评论(0) 推荐(1)

伪分布重新格式化hdfs
摘要：重新格式化hdfs系统的方法： （1）查看hdfs-ste.xml： （2）查看core-site.xml： 将hadoop.tmp.dir所指定的目录删除。 （3）重新执行命令：hadoop namenode -format 格式化完毕。 注意：原来的数据全部被清空了。产生了一个新的hdfs。 阅读全文

posted @ 2016-03-16 12:19 厚积！！ 阅读(755) 评论(0) 推荐(0)

hdfs格式化hadoop namenode -format错误
摘要：在对HDFS格式化，执行hadoop namenode -format命令时，出现未知的主机名的问题，异常信息如下所示： [shirdrn@localhost bin]$ hadoop namenode -format11/06/22 07:33:31 INFO namenode.NameNode: 阅读全文

posted @ 2016-03-16 12:08 厚积！！ 阅读(8820) 评论(0) 推荐(0)

redhat 安装hadoop1.2.1伪分布式
摘要：完整安装过程参考：http://www.cnblogs.com/shishanyuan/p/4147580.html 一、环境准备 1、安装linux、jdk 2、下载hadoop2.6.0，并解压 二、安装 1、安装jdk 下载jdk，最好使用较新版本，最低不能低于jdk1.6 解压 ：tar - 阅读全文

posted @ 2016-03-11 16:22 厚积！！ 阅读(658) 评论(0) 推荐(0)

导航