牵牛花

摘要： ApplicationMaster是如何启动container并通信 hadoop的关键进程 http://blog.csdn.net/jediael_lu/article/details/46386773 当wordcount程序传入两个元文件时启动了两个map task ，可以看到两个jps进程 阅读全文

摘要： -cp 和 -classpath 一样，是指定类运行所依赖其他类的路径，通常是类库，jar包之类，需要全路径到jar包，window上分号“;” java -cp .;myClass.jar packname.mainclassname classpath中的jar文件能使用通配符，如果是多个jar 阅读全文

摘要： demo1 crontab -e # 一分钟执行一次 */1 * * * * /home/hadoop/hivestudy/test.sh ll test.dat 观察文件是否在变大 crontab -l 查看定时任务 每五分钟执行 */5 * * * * 每小时执行 0 * * * * 每天执行 阅读全文

摘要： [hadoop@mini2 study]$ ./t.sh access.log.1 hahahahtest1.sh hahahaht.sh hahahah 这个结果就不对，因为[[]]中的等号两端没有空格！，加上空格就对了 还有if后面必须有空格，then要和if在同一行then前面必须加上分号； 阅读全文

摘要： 1。运行mapreduce程序出错，connection to resourcemanagerretrying ...retrying ...原因是没有启动yarn或者启动失败 2.hdfs namenode -format 只是初始化了namenode的工作目录而datanode的工作目录是在da 阅读全文

摘要： http://blog.itpub.net/30066956/cid-175369-list-1/ 阅读全文

摘要： URI统一资源定位符jdbc:mysql://localhost：3306hdfs://mini2:9000schema 协议ip端口指定客户端在访问时访问那个ip的那个端口hadoop.tmp.dir 每个进程工作时的数据目录mapred-site.xml 中hdfs.framework的默认值是 阅读全文

摘要： centos 6.7 hadoop 2.6.5 解决方案 /usr/local/hadoop-2.5.2/etc/hadoop/log4j.properties文件中添加 log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR 我的是学习 阅读全文

摘要： 1.关闭防火墙 2.所有的hadoop操作都是hadoop用户下面的，同时需要用hadoop用户登录之后，对于其他的机器的hadoop用户可以免密登录 3.hadoop用户在root组下面，不是附加组！ 4.配置hadoop-env 中的Java_home 是因为hadoop只运行时需要ssh 启动 阅读全文

摘要： 配置HADOOP_HOME export HADOOP_HOME=/usr/hadoop-1.2.0export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin :$HADOOP_HOME/sbin是管理级别的，不加，只加bin就可以了source /et 阅读全文