随笔分类 - 大数据
摘要：在hadoop第前几个版本中是没有快照功能的，2.x中是有这个特性的 Hadoop 2.x HDFS新特性 HDFS快照 HDFS快照 在2.x终于实现了快照 设置一个目录为可快照： hdfs dfsadmin -allowSnapshot <path> 取消目录可快照： hdfs dfsadmin
阅读全文
摘要：Hadoop 2.x HDFS新特性 1.HDFS联邦 2. HDFS HA（要用到zookeeper等） 3.HDFS快照 回顾： HDFS两层模型 Namespace： 包括目录、文件和块。它支持所有命名空间相关的文件操作，如创建、删除、修改，查看所有文件和目录。 Block Storage S
阅读全文
摘要：HDFS是Hadoop的核心模块之一，围绕HDFS是什么、HDFS的设计思想和HDFS的体系结构三方面来介绍。 Hadoop的设计思想受到Google公司的GFS设计思想的启示，基于一种开源的理念实现的分布式分布式文件系统。HDFS的设计基础与目标如下。 1）硬件错误（Hardware Failur
阅读全文
摘要：照抄于网络： docs/hdfs-default.html这里是hdfs参数的含义。其中可见dfs.replication.min最小副本数dfs.safemode.threshold.pct阈值比例 Specifies the percentage of blocks that should sa
阅读全文
摘要：背景 分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 具体到Hadoo
阅读全文
摘要：hadoop的hdfs文件系统中，默认的是utf-8, 故你上传的文件是要设置成utf-8。当输入的是gbk，有该如何？ 输入是GBK文件, 输出也是 GBK 文件的示例代码: Hadoop处理GBK文本时,发现输出出现了乱码,原来HADOOP在涉及编码时都是写死的UTF-8，如果文件编码格式是其它
阅读全文
摘要：环境：win7 eclipse hadoop 1.1.2 当执行创建文件的的时候， 即： String Path = "hdfs://host2:9000"; FileSystem fileSystem = FileSystem.get(new URI(Path),new Configuration
阅读全文
摘要：RedHat linux 默认是安装了yum软件的，但是由于激活认证的原因让redhat无法直接进行yum安装一些软件，如果我们需要在redhat下直接yum安装软件，我们只用把yum的源修改成CentOS的就好了，然后把源里面的变量全部修改成实际的值，这样就能使用yum直接安装我们需要的软件了。
阅读全文
摘要：在安装ganglia的时候，需要安装ttdtol, 否则是不运去安装的。查可很多，这个可以。 我的环境： [hadoop@host8 ~]$ lsb_release -aLSB Version: :core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:gra
阅读全文
摘要：在master（即：host2）中执行 hadoop jar hadoop-test-1.1.2.jar DFSCIOTest -write -nrFiles 12 -fileSize 10240 -resFile test 最后fail，为啥，看了一下日志 attempt_201607141305
阅读全文
摘要：原文 http://www.cnblogs.com/wolfblogs/p/4147485.html 用了一段时间的hadoop，现在回来看看源码发现别有一番味道，温故而知新，还真是这样的 在使用hadoop之前我们需要配置一些文件，hadoop-env.sh，core-site.xml，hdfs-
阅读全文
摘要：hadoop集群中主要进程有master: NameNode, ResourceManager,slaves: DataNode, NodeManager, RunJar, MRAppMaster,YarnChild其中 RunJar, MRAppMaster,YarnChild与随着某个job的创
阅读全文
摘要：hadoop fs：使用面最广，可以操作任何文件系统。 hadoop dfs与hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。 以下内容参考自stackoverflow Following are the three co
阅读全文
摘要：转：http://blog.csdn.net/jediael_lu/article/details/38705371 以下程序在hadoop1.2.1上测试成功。 本例先将源代码呈现，然后详细说明执行步骤，最后对源代码及执行过程进行分析。 一、源代码 二、执行程序 1、从eclipse从导出至wor
阅读全文
摘要：部分内容参考：http://www.linuxqq.net/archives/964.html http://slaytanic.blog.51cto.com/2057708/1100974/ http://blog.csdn.net/jediael_lu/article/details/38680
阅读全文
摘要：我执行下面步骤： 1、 动态增加DataNode节点和TaskTracker节点 以host9为例 在host9上执行： 指定主机名 vi /etc/hostname 指定主机名到IP地址的映射 vi /etc/hosts （hosts就是对datanode 和trac） 增加用户和组 addgro
阅读全文
摘要：为了达到以下负责均衡，需要调整以下 改变负载 三台机器，改变负载 host2(NameNode、DataNode、TaskTracker) host6(SecondaryNameNode、DataNode、TaskTracker) host8(JobTracker 、DataNode、TaskTra
阅读全文
摘要：secondarynamenode 图： secondarynamenode根据文件的的大小对namenode的编辑日志和镜像日志 进行合并。 光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其 实不是。snn是
阅读全文
摘要：linux环境下面配置虚拟主机域名 第一步:在root目录下面(即根目录)ls(查看文件)cd进入etc目录find hosts文件vi hosts 打开hosts文件并进行编辑在打开的文件最下面添加:192.168.8.115 domain.com.cn 第二步:cd /usr/local/apa
阅读全文
摘要：hadoop启动后jps没有namenode 一般都是由于两次或两次以上格式化NameNode造成的，有两种方法可以解决： 1.删除DataNode的所有资料 2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改Nam
阅读全文
浙公网安备 33010602011771号