11 2015 档案

HADOOP笔记
摘要：ZKFC高可用模式下查看hdfs-namenode的主备状态：hdfs haadmin -getServiceState nn1hdfs haadmin -getServiceState nn2手工实现主备切换：hdfs haadmin -failover --forcefence --forcea... 阅读全文
posted @ 2015-11-22 19:26 数据盟 阅读(160) 评论(0) 推荐(0)
网络工具汇总
摘要：1.查看网卡是千兆还是百兆# ethtool eth1Settings for eth1: Supported ports: [ TP ] Supported link modes: 10baseT/Half 10baseT/Full ... 阅读全文
posted @ 2015-11-22 18:15 数据盟 阅读(164) 评论(0) 推荐(0)
网卡流量监控脚本
摘要：#!/bin/bashwhile [ "1" ]doeth=$1RXpre=$(cat /proc/net/dev | grep $eth | tr : " " | awk '{print $2}')TXpre=$(cat /proc/net/dev | grep $eth | tr : " " |... 阅读全文
posted @ 2015-11-20 19:33 数据盟 阅读(300) 评论(0) 推荐(0)
如何增大UDP收包效率
摘要：参考文章http://ref.onixs.biz/lost-multicast-packets-troubleshooting.htmlOperating system kernel network buffers tuning操作系统内核网络缓冲区调优LinuxRun thesysctl -A |... 阅读全文
posted @ 2015-11-18 21:23 数据盟 阅读(2731) 评论(0) 推荐(0)
spark笔记
摘要：运行任务的时候，有一些中间数据需要写集群的worker的目录，默认是写/tmp目录spark-env.sh 增加export SPARK_WORKER_DIR=/data/spark/workexport SPARK_LOCAL_DIRS=/data/spark/data需要先创建好目录给777权限... 阅读全文
posted @ 2015-11-17 10:46 数据盟 阅读(142) 评论(0) 推荐(0)
报表制作开源工具hcharts
摘要：http://www.hcharts.cn/ 阅读全文
posted @ 2015-11-16 20:44 数据盟 阅读(154) 评论(0) 推荐(0)
shell脚本的几个参数
摘要：$0 这个程式的执行名字$n 这个程式的第n个参数值，n=1..9$* 这个程式的所有参数,此选项参数可超过9个。$# 这个程式的参数个数$$ 这个程式的PID(脚本运行的当前进程ID号)$! 执行上一个背景指令的PID(后台运行的最后一个进程的进程ID号)$? 执行上一个指令的返回值 (显示最后命... 阅读全文
posted @ 2015-11-16 20:41 数据盟 阅读(1150) 评论(0) 推荐(0)