摘要： MapReduce工作原理图文详解正文：1.MapReduce作业运行流程流程分析：1.在客户端启动一个作业。2.向JobTracker请求一个Job ID。3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。这些文件都... 阅读全文

摘要： Mysql异常：MySQLNonTransientConnectionException: No operations allowed after statement closedMySQLNonTransientConnectionException: No operations allowed ... 阅读全文

摘要： HDFS 的可靠性主要有一下几点:冗余副本策略机架策略心跳机制安全模式效验和回收站元数据保护快照机制1.冗余副本策略 可以在hdfs-site.xml中设置复制因子指定副本数量 所有数据块都可副本 DataNode启动时,遍历本地文件系统,产生一份HDFS数据块和本地文件的对应关系列表(blo... 阅读全文

摘要： 一. 前提和设计目标1. 硬件错误是常态,因此需要冗余,这是深入到HDFS骨头里面去了 HDFS可能由成百上千的服务器所构成，每个服务器上存储着文件系统的部分数据。我们面对的现实是构成系统的组件数目是巨大的，而且任一组件都有可能失效，这意味着总是有一部分HDFS的组件是不工作的。因此错误检测和... 阅读全文

摘要： find | xargs echo >> x1find -exec echo {} \; >> x21、查找/var目录下属主为root并且属组为mail的所有文件；find /var -user root -group mail2、查找/usr目录下不属于root,bin,或student的文件；... 阅读全文

摘要： 你想建设一个能承受500万PV/每天的网站吗？服务器每秒要处理多少个请求才能应对？你想建设一个能承受500万PV/每天的网站吗？ 500万PV是什么概念？服务器每秒要处理多少个请求才能应对？如果计算呢？PV是什么：PV是page view的简写。PV是指页面的访问次数，每打开或刷新一次页面，就算做一... 阅读全文

摘要： find 与 tar命令连用今天打包日志时，用find -mtime -1 -type f -exec tar -cvf log.tar {} \;发现只打包了最后一个文件，应该是tar的c参数，每次都创建一个新的文件，想了下用r参数代替，没有问题了 find -mtime -1 -type f -... 阅读全文

摘要： 在腾讯服务器上部署的时候出现的莫名其妙的错误,我在配置文件上都写master, node1,但是运行mapredure的时候的时候老是出现 Job job_1409546978133_0001 failed with state FAILED due to: Application applicat... 阅读全文

摘要： hadoop Safe mode is ON 的解决办法搭了一个hadoop集群环境，近期总是出现读写文件错误的情况，查看name node的日志显示（Safe mode is ON）Safe mode is ON. The ratio of reported blocks 0.2000 has n... 阅读全文

摘要： 问题解决：这个错误是：yarn里面的配置的格式有错误：如：yarn.resourcemanager.addressMaster:8032 在标签之间不能有空格。去掉空格OK。异常堆栈如下2014-08-30 10:20:30,171 INFO org.apache.hadoop.service.A... 阅读全文