我的空中楼阁

摘要：#spark-env.sh JAVA_HOME=/home/hadoop/app/jdk1.7.0_60 SCALA_HOME=/home/hadoop/app/scala-2.10.3 SPARK_HOME=/home/hadoop/app/spark-1.4.0 SPARK_PID_DIR=$SPARK_HOME/tmp HADOOP_CONF_DIR=/home/hadoop/app... 阅读全文

摘要：这是nagios与ganglia整合的一部分内容 。 通常我们会把ganglia的监控发送给一个主机，我们可以在这个主机上执行nc localhost 8649 可以获取到所有发往这个主机的信息，以xml的形式查看。 nagios监控ganglia的指标的方法就是使用这个思路，check_ganglia.py 先连通ganglia_host,然后获取所有的xml,然后再解析xml,解析的时候... 阅读全文

摘要：官方网站：https://www.elastic.co/products/elasticsearch logstash,elasticsearch,kibana作用如下： logstash:分布在每一台需要采集数据的节点上，需要一个配置文件来获取数据，输入主要支持file,输出支持gangalia，nagios,kafka,elasticsearch. 而且可以简单地配置，就可以把数据结构化... 阅读全文

摘要：zookeeper的配置：http://www.cnblogs.com/yuyijq/p/3438829.html zookeeper运维：http://blog.csdn.net/hengyunabc/article/details/19006911 官方指导文档 ：http://zookeeper.apache.org/doc/r3.4.5/zookeeperAdmin.html#sc_z... 阅读全文

摘要：想把hadoop的进程日志导入hive表进行分析，遂做了以下的尝试。 关于hadoop进程日志的解析 使用正则表达式获取四个字段，一个是日期时间，一个是日志级别，一个是类，最后一个是详细信息， 然后在hive中建一个表，可以用来方便查询。 2015-12-18 22:23:23,357 INFO org.apache.hadoop.yarn.server.nodeman... 阅读全文

摘要：两台机器，nn1,nn2搭建的ha,同时又担任nn,dn,rm,nm,jn,zkfc,zk等职能。 以下是升级回滚再升级的记录。仅供参考，同时参考了cdh官网的说明，官网主要是使用CM的。 1 官网上下载hadoop2.6cdh5.5.tar包和hadoop的rpm包 rpm2cpio hadoop.rpm | cpio –div 可以从里面找到我们需要的native的文件 。 2 ... 阅读全文

摘要：1 获取与安装https://labs.consol.de/assets/downloads/nagios/check_logfiles-3.7.4.tar.gz链接可能会失效，建议去官网下载。https://labs.consol.de/nagios/check_logfiles/阅读官网的使用说... 阅读全文

摘要：/etc/security/limits.conf @ochadoop soft nofile 102642 @ochadoop hard nofile 102642 @ochadoop soft nproc unlimited @ochadoop hard nproc unlimited @ochadoop soft memlock unlimited ... 阅读全文

摘要：如果通过命令行的方式安装cloudera 版本的hadoop,下载它的cdh版本。 解压后执行，你会发现报warning,没有native的库，lib/native是空的。 如何获取native的文件呢？ 1.cdh里面有src文件，可以编译生成native的包，不过这种方式非常难搞，需要网络环境，而且编译过程复杂，耗时较长。 2.去官网下载相应版本的hadoop rpm包，然后解压即可。... 阅读全文

摘要：https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html#dfsadmin -metasave filename Save Namenode's primary data structures to filename in the directory specifie... 阅读全文

摘要：#pi值示例 hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.3.0-cdh5.0.2.jar pi 20 200 #生成数据 第一个参数是行数 第二个参数是位置 hadoop jar /app/cdh23502/share/hadoop/mapreduce2/hadoop-mapred... 阅读全文

摘要：learn from error… Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#21 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134) at org.a... 阅读全文

摘要：如果某一个任务在某个节点上长时间不完成,怎么手动干预来处理这种情况?董西成博客上找到的回答:hadoop中有三种特殊的任务，failed task，killed task和speculative task.其中，failed task是由于硬件、程序bug等原因异常退出的任务，比如磁盘空间不足等，k... 阅读全文

摘要：ttempt_1448915696877_13139_m_000141_0 100.00 FAILED map > map px42pub:8042 logs Wed, 09 Dec 2015 06:15:17 GMT Wed, 09 Dec 2015 06:20:32 GMT 5mins, 14s... 阅读全文

摘要：现在我使用nagios来监控hadoop的核心进程,rm,nm,dn,nn,zkfc,jn,zk等,但是有时候进程虽然还在,但是日志不刷新,web ui上可以看到有些datanodes节点已经变为dead状态,不服务.为了在nagios中显示出dead的datanodes我写了自定义的插件,在某一台... 阅读全文

摘要：Container启动过程主要经历三个阶段：资源本地化、启动并运行container、资源回收，其中，资源本地化指创建container工作目录，从HDFS下载运行container所需的各种资源（jar包、可执行文件等）等，而资源回收则是资源本地化的逆过程，它负责清理各种资源，它们均由ResourceLocalizationService服务完成的。启动container是由Containers... 阅读全文

摘要：dfs.replication 新更新的复制因子的参数对原来的文件不起作用。 譬如说，原来的复制因子是2，则原来文件上传的时候就只有两个副本。 现在把dfs.replication设置为3，重新启动hdfs.不会把原来2个副本的变成三个副本。 如果你需要这样，请执行下面的命令： hadoop fs -setrep -R 3 / 如果你只有2个datanode，但是... 阅读全文

该文被密码保护。

摘要：Total files: 23 Total symlinks: 0 Total blocks (validated): 22 (avg. block size 117723 B) Minimally replicated blocks: 22 (100.0 %) Over-replicated blocks: 0 (0.0 %... 阅读全文

摘要：fs.defaultFS hdfs://ochadoopcluster The name of the default file system. A URI whose scheme and authority determine the FileSystem implementatio... 阅读全文

摘要：#!/bin/bash loadavg=$( uptime | awk -F: '{print $4}' | xargs ) load1int=$( echo $loadavg | cut -d "." -f 1 ) load5int=$( echo $loadavg | awk -F, '{print $2}' | xargs | cut -d "." -f 1 ) load15int... 阅读全文