岚天逸见

Hadoop-2.4.0中HDFS文件块大小默认为128M

摘要： 134217728 / 1024 = 131072 / 1024 = 128 阅读全文

posted @ 2014-04-19 14:33 岚天逸见阅读(643) 评论(0) 推荐(0)

摘要：为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是... 阅读全文

posted @ 2014-04-19 11:31 岚天逸见阅读(304) 评论(0) 推荐(0)

摘要：该错误原因，可能是因为没有设置好SecondaryNameNode上core-site.xml文件中的“hadoop.tmp.dir”。2014-04-17 11:42:18,189 INFO org.apache.hadoop.hdfs.server.namenod... 阅读全文

posted @ 2014-04-19 10:57 岚天逸见阅读(740) 评论(0) 推荐(0)

摘要： clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199cluster... 阅读全文

posted @ 2014-04-19 10:39 岚天逸见阅读(1925) 评论(0) 推荐(0)

摘要：原因可能是指定的端口号9000不对，该端口号由hdfs-site.xml中的属性“dfs.namenode.rpc-address”指定，即为NameNode的RPC服务端口号。文件上传后，被存储在DataNode的data（由DataNode的hdfs-site.... 阅读全文

posted @ 2014-04-17 20:10 岚天逸见阅读(932) 评论(0) 推荐(0)

摘要： “Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前，没有清空DataNode节点的data目录。网上一些文章和帖子说是tmp目录，它本身也是没问题的，但Hadoop 2.4.0是data目录，实际上... 阅读全文

posted @ 2014-04-17 19:54 岚天逸见阅读(399) 评论(0) 推荐(0)

摘要： “hdfs dfs -ls”带一个参数，如果参数以“hdfs://URI”打头表示访问HDFS，否则相当于ls。其中URI为NameNode的IP或主机名，可以包含端口号，即hdfs-site.xml中“dfs.namenode.rpc-address”指定的值。“h... 阅读全文

posted @ 2014-04-17 18:58 岚天逸见阅读(5238) 评论(0) 推荐(0)

摘要： 1) 临时修改主机名临时修改使用hostname即可，格式为：hostname 新主机名。Hostname命令除可以临时修改主机名外，还可以用它来查看主机名，不带参数执行它，即为查看主机名。 2) 永久修改主机名修改文件/etc/HOSTNAME即可：cat /etc... 阅读全文

posted @ 2014-04-17 16:01 岚天逸见阅读(3787) 评论(0) 推荐(0)

摘要：导读strerror是否线程安全了？ 1errno是否线程安全？ 1附1：strerror源码 2附2：__strerror_r源码 2 strerror是否线程安全了？答案是NO，但它有个线程安全的版本：strerror_r。借助Linux的man，即可看到详情：#... 阅读全文

posted @ 2014-04-16 13:31 岚天逸见阅读(399) 评论(0) 推荐(0)

摘要： SSH2免密码登录OpenSSHhttp://blog.csdn.net/aquester/article/details/23836299OpenSSH免密码登录SSH2http://blog.csdn.net/aquester/article/details/23... 阅读全文

posted @ 2014-04-16 12:26 岚天逸见阅读(186) 评论(0) 推荐(0)