摘要： 1：512mb 2核启动 阅读全文

摘要： 恢复内容开始 1：去官网下载spark http://spark.apache.org 2：解压，然后在自己的机器上编译conf中的两个文件 3:编辑的内容如下 以下是spark-env.sh中的内容 这里的ip使用的是内网ip 4：slaves文件内容 一下是slaves中的内容，这里直接填写外网 阅读全文

摘要： 使用了java这么久一直对java获取路径存在困惑，将一些常用的获取路径方式记录如下： 阅读全文

摘要： 1：第一阶段： 第一阶段的task每一个nodemanager并发运行程序，完全并发，各不影响。这就是map阶段 运行的task时maptask 2：第二个阶段的task并发实例互不相干，但是他们的数据依赖与上一个阶段的task的输出。这时reduce阶段，运行的时reduce task。 阅读全文

摘要： 1：在每一个tomcat服务器上，生成的日志目录中，在java中用定时器每天将当天的日志上传到hadoop中 （技术要点：quatz+hadoop-client）具体的目录动态的采用时间品名 2：hadoop集群每天进行一次日志分析 阅读全文

摘要： 1：hdfs dfsadmin -report //查看集群运行状态 阅读全文

摘要： 1：通过查看hadoop的临时目录，看到有fsimage和edit文件 2：fsimage时namenode的元数据内存镜像文件，edit文件时hadoop客户端的操作记录， edit_inprocess是正在写的文件 3：secondnamenode是负责将edit和fsimage文件合并成新的f 阅读全文