导航

文章分类 -  hadoop

HDFS与小文件相关

摘要：HDFS也有块（Block）的概念，但它的块是一个很大的单元，默认是64MB。像硬盘中的文件系统一样，在HDFS中的文件将会按块大小进行分解，并作为独立的单元进行存储。但和硬盘中的文件系统不一样的是，存储在块中的一个比块小的文件并不会占据一个块大小的硬盘物理空间（HDFS中一个块只存储一个文件的内容）。 那为什么HDFS中的块如此之大呢？ HDFS的块之所以这么大，主要原因就是为了把寻道（Seek）时间最小化。如果一个块足够大，那么从硬盘传输数据的时间将远远大于寻找块的起始位置的时间。这样就使得HDFS的数据传输速度和硬盘的传输速度更加接近。 让我们来个简单的计算，假设寻道时间大约为1... 阅读全文

posted @ 2011-11-23 08:26 清风无尘 阅读(1006) 评论(0) 推荐(0)

hadoop环境配置（3）--hadoop配置

摘要：1.安装hadoop 用hadoop用户登录master节点，直接将hadoop压缩包解压到master节点的/home/hadoop目录下，我安装的的hadoop版本是hadoop-0.20.203.0，解压完毕后进入hadoop-0.20.203.0目录。2.修改配置文件2.1 进入conf目录，修改core-site.xml，加入以下内容： <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> < 阅读全文

posted @ 2011-11-20 15:01 清风无尘 阅读(349) 评论(0) 推荐(0)

hadoop环境配置（2）--java环境配置，ssh设置

摘要：一 本人遇到一些fedora的基本问题 1.sudo -s这个命令最初是不能使用。（命令行操作） 1）使用$ su -进入root权限（$：代表是在用户操作态，#：表示root态。这是不用写的） 2） 给/etc/sudoers文件赋予写权限-- 操作代码 # chmod u+w/etc/sudoers 3）编辑/etc/sudoers--操作代码 # gedit/etc/sudoers 4）在sudoers文件中找到root ALL = (ALL) ALL，在下一行中添加hadoopALL = (ALL) ALL (hadoop是我的用户名) 5）赋权限--操作代码 # chmod 0440 阅读全文

posted @ 2011-11-20 14:57 清风无尘 阅读(643) 评论(0) 推荐(0)

hadoop环境配置（1）--总体软件需要介绍，以及fedora安装注意事项

摘要：写此文章之前，缅怀下我刚刚配好的3台机器，由于安装初期用户名没有取一致，导致我现在全部要重新配置。一介绍下我配置所需要准备的一些东西：1.操作系统：1）fedora：优点：里面自带的东西比较齐全，在一个封闭的网络集群里面，你不需要为某些功能没有而去连线升级。缺点：系统太大。2）ubuntu：优点：系统不大，不到1G。缺点：功能不全，有时候需要在线升级。2.java环境3.hadoop环境：建议使用0.21版本，比较稳定。4.Eclipse二 fedora安装注意事项1.hostname问题，这个问题我一直还没有弄明白。各位有了解的，望赐教。2.用户名问题，无论你是几台机器，如果你是初学者，用户 阅读全文

posted @ 2011-11-20 14:49 清风无尘 阅读(317) 评论(0) 推荐(0)