岚天逸见

在Linux上编译Hadoop-2.4.0

摘要：目录目录 11. 前言 12. 安装依赖 12.1. 安装ProtocolBuffer 22.2. 安装CMake 22.3. 安装JDK 22.4. 安装Maven 33. 编译Hadoop源代码 3附1:无联网环境编译 5附2编译环境 6附3：版本信息 6附4：常... 阅读全文

posted @ 2014-04-21 15:48 岚天逸见阅读(193) 评论(0) 推荐(0)

摘要： NULL是个指针，还是个整数？0？或(void*)0？答案是和g++版本有关。g++ 4.6支持C++11，引入了nullptr，也许会发生变化。可以写段简单代码求证一下：#include #include int main(){ printf("... 阅读全文

posted @ 2014-04-21 15:36 岚天逸见阅读(624) 评论(0) 推荐(0)

摘要： 134217728 / 1024 = 131072 / 1024 = 128 阅读全文

posted @ 2014-04-19 14:33 岚天逸见阅读(646) 评论(0) 推荐(0)

摘要：为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是... 阅读全文

posted @ 2014-04-19 11:31 岚天逸见阅读(316) 评论(0) 推荐(0)

摘要：该错误原因，可能是因为没有设置好SecondaryNameNode上core-site.xml文件中的“hadoop.tmp.dir”。2014-04-17 11:42:18,189 INFO org.apache.hadoop.hdfs.server.namenod... 阅读全文

posted @ 2014-04-19 10:57 岚天逸见阅读(747) 评论(0) 推荐(0)

摘要： clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199cluster... 阅读全文

posted @ 2014-04-19 10:39 岚天逸见阅读(1934) 评论(0) 推荐(0)

摘要：原因可能是指定的端口号9000不对，该端口号由hdfs-site.xml中的属性“dfs.namenode.rpc-address”指定，即为NameNode的RPC服务端口号。文件上传后，被存储在DataNode的data（由DataNode的hdfs-site.... 阅读全文

posted @ 2014-04-17 20:10 岚天逸见阅读(941) 评论(0) 推荐(0)

摘要： “Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前，没有清空DataNode节点的data目录。网上一些文章和帖子说是tmp目录，它本身也是没问题的，但Hadoop 2.4.0是data目录，实际上... 阅读全文

posted @ 2014-04-17 19:54 岚天逸见阅读(407) 评论(0) 推荐(0)

摘要： “hdfs dfs -ls”带一个参数，如果参数以“hdfs://URI”打头表示访问HDFS，否则相当于ls。其中URI为NameNode的IP或主机名，可以包含端口号，即hdfs-site.xml中“dfs.namenode.rpc-address”指定的值。“h... 阅读全文

posted @ 2014-04-17 18:58 岚天逸见阅读(5246) 评论(0) 推荐(0)

摘要： 1) 临时修改主机名临时修改使用hostname即可，格式为：hostname 新主机名。Hostname命令除可以临时修改主机名外，还可以用它来查看主机名，不带参数执行它，即为查看主机名。 2) 永久修改主机名修改文件/etc/HOSTNAME即可：cat /etc... 阅读全文

posted @ 2014-04-17 16:01 岚天逸见阅读(3821) 评论(0) 推荐(0)