justinzhang

摘要： 1. You couldn’t afford the time to perfect anything, but no need to warry , because nobody else could either. 2. Our civilization runs on software—Bjarne Stroustrup. 3. “The realization came over me ... 阅读全文

摘要： 幽灵漏斗简介： 编号CVE-2015-0235的GHOST（幽灵）漏洞是Qualys研究员发现的一个Linux服务上非常严重的安全漏洞，可以被利用来远程代码执行及本地权限提升。 漏洞简要描述 该漏洞存在于 glic 库中的__nss_hostname_digits_dots() 函数，在nss/getXXbyYY.c这个文件中，gethostbyname()会使用这个功能。另外，这个漏洞本... 阅读全文

摘要： 在Hadoop Eclipse开发环境搭建这篇文章中，第15.）中提到权限相关的异常，如下： 15/01/30 10:08:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicab... 阅读全文

摘要： 在编译hadoop的过程中，使用ant jar进行编译时，提示maven版本库连接超时的问题，通过搜索发现，在如下文件的位置中有repo2的版本库地址，这个地址在国内，目前不能正常的访问： 将出现repo2.maven.org/maven2的地方，都替换成： http://mirrors.ibiblio.org/maven2/ 可以解决问题。 这个地址是在ivysetting... 阅读全文

摘要： This document is from my evernote, when I was still at baidu, I have a complete hadoop development/Debug environment. But at that time, I was tired of writing blogs. It costs me two day’s spare ti... 阅读全文

摘要： 有一台ubuntu机器，想看到这台机器和外界通信的情况，使用如下命令： sudo tcpdump -i em1 -nn port 80 zhangchao3@ubuntu:~$ sudo tcpdump -i em1 -nn port 80 tcpdump: verbose output suppressed, use -v or -vv for full protocol decod... 阅读全文

摘要： 1）JobTracker运行时参数： hadoop@ubuntu:/home/zhangchao3$ ps -ef | grep job hadoop 29563 1 0 11:34 pts/12 00:00:24 /home/hadoop/jdk1.7.0_60/bin/java -Dproc_jobtracker -Xmx1000m -Dcom.sun.mana... 阅读全文

摘要： 本来下想在一台虚拟机上，搭建一个hadoop的测试hadoop，用于调试和阅读hadoop源代码，发现在虚拟机上执行： $hostname -i hostname: Unknown host 这个是因为没有设置/etc/hosts文件导致的，如果linux的环境是这样的，那么将会在启动datanode和tasktracker的时候失败， datanode和namenode将会抛出如下的... 阅读全文

摘要： 问题描述： 在实验的时候，需要往以前的集群中添加一台datanode，在添加之前，由于在调式namenode的时候，格式化了dfs，这就导致了namenode上的namespaceID和以前集群上datanode的namespaceID不一致，结果就会导致在启动hadoop集群的时候，旧的的datanode就没有办法启动hdfs服务，但是旧的dadanode可以启动tasktracker。 ... 阅读全文

摘要： 1. 首先，准备好hadoop安装包和JDK，hadoop-1.0.3的svn版本库：http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.0.3/， hadoop-1.0.3的安装包地址：http://archive.apache.org/dist/hadoop/core/hadoop-1.0.3/ 2. 建立后各个... 阅读全文