2014年4月11日

淘宝开源其系统监控工具Tsar

摘要： Tsar简介 Tsar（Taobao System Activity Reporter）是淘宝开发的一个非常好用的系统监控工具，在淘宝内部大量使用，它不仅可以监控CPU、IO、内存、TCP等系统状态，也可以监控Apache，Nginx/Tengine，Squid等服务器状态。值得一提的是，Tsar支持将数据存储到MySQL中，也可以将数据发送到Nagios报警服务器。 Tsar可将收集到的数据存储在磁盘上，另外可以支持将数据存储到MySQL中，也可将数据发送到Nagios报警服务器。在展示数据层面，可以指定模块，并且支持对多条信息的数据进行Merge输出，如果带--live参数，还可以输出秒级 阅读全文

posted @ 2014-04-11 22:48 追逐的脚步 阅读(814) 评论(0) 推荐(0)

Hadoop 集群常见错误

摘要： （一）启动hadoop集群时易出现的错误：1.错误现象：java.net.NoRouteToHostException: No route to host. 原因：master服务器上的防火墙没有关闭。 解决方法:在master上关闭防火墙: chkconfig iptables off.2.错误现象：org.apache.hadoop.ipc.RPC: Server at JMN/10.22.1.203:9000 not available yet./* JMN/10.22.1.203是 hadoop集群当中master的主机名/ip */ 原因：/etc/hosts中的文件被自动篡改。 解 阅读全文

posted @ 2014-04-11 17:10 追逐的脚步 阅读(275) 评论(0) 推荐(0)

hadoop的conf配置详解

摘要： hadoop-env.sh:一般来说在安装hadoop的时候，只需要指定其依赖的jdk即可。后期需指定hadoop的class路径。 export JAVA_HOME=hdfs-site.xml:dfs.replication //表示的是上传到hdfs上的副本数量3dfs.datanode.max.xcievers //Hadoop HDFS Datanode有一个同时处理文件的上限,这个一般最少要4096，这个配置可能会和hbase的集群出现问题有关系。2047dfs.name.dir //表示是将hdfs的元数据保存在什么位置下/data1/hado... 阅读全文

posted @ 2014-04-11 17:09 追逐的脚步 阅读(3070) 评论(0) 推荐(0)

HDFS的数据导入到HIVE中

摘要： hive的sql语句对hdfs上的任何的数据操作，其最终的处理都是通过hive的内置功能将这个类sql语句转化成mapreduce的框架进行处理。将hdfs额数据导入到hive 中，首先需要做到以下几步。1.hdfs中必须存在满足其hive格式的数据。（公司是使用oracle数据库作为源数据）2.建立一个hive表3.使用hive的导数据的语句。LOAD DATA INPATH '/' [OVERWRITE] INTO TABLE tablename;4.执行hive语句的分析。得到需要的数据，fangrlinux系统下的一个文件中。 阅读全文

posted @ 2014-04-11 16:35 追逐的脚步 阅读(959) 评论(0) 推荐(0)

FastDFS图片服务器的搭建

该文被密码保护。 阅读全文

posted @ 2014-04-11 14:36 追逐的脚步 阅读(0) 评论(0) 推荐(0)

hbase的安装配置文档（完全分布式）

该文被密码保护。 阅读全文

posted @ 2014-04-11 14:32 追逐的脚步 阅读(1) 评论(0) 推荐(0)

hive的安装部署（完全分布式）

该文被密码保护。 阅读全文

posted @ 2014-04-11 14:31 追逐的脚步 阅读(2) 评论(0) 推荐(0)

hadoop集群搭建（完全分布式）

摘要： 1 hadoop集群概要1.1 hadoop优点1>高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。2> 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。3> 高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点... 阅读全文

posted @ 2014-04-11 14:30 追逐的脚步 阅读(355) 评论(0) 推荐(0)

导航