随笔分类 -  hadoop aws

Ambari安装指南
摘要：一、准备工作 l 基本工具 1) 安装epel,epel是一个提供高质量软件包的项目。先检查主机上是否安装： rpm -q epel-release 2) 如果没有安装，使用rpm命令安装： rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64 阅读全文

posted @ 2017-04-28 22:04 zllqaz 阅读(374) 评论(0) 推荐(0)

Hadoop(4)-MapReduce
摘要：在之前建立的HDFS基础上，自己编写MapReduce程序，打包，并运行。 重新打包WordCount并执行 新建一个Maven项目，将示例程序中WordCount.java的复制到新项目中，使用mvn clean package打包为jar文件并复制到服务器。 WordCount.java内容如下 阅读全文

posted @ 2017-04-28 21:10 zllqaz 阅读(134) 评论(0) 推荐(0)

Hadoop(3)-HDFS
摘要：这里使用两台EC2服务器，每台EC2额外挂载一块30G的EBS来部署HDFS，HDFS将有一个namenode，两个datanode，副本数量为2。一台服务器作为master和slave1，另一台作为slave2，EBS作为datanode存储数据的位置。 Hadoop使用2.7.2，解压到/hom 阅读全文

posted @ 2017-04-28 21:08 zllqaz 阅读(134) 评论(0) 推荐(0)

Hadoop(1)-入门示例
摘要：Hadoop安装 现在最新版为2.7.2，使用下面的链接下载： https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 下载后使用下面的命令解压： tar zxf hadoop-2.7.2.tar. 阅读全文

posted @ 2017-04-28 21:07 zllqaz 阅读(129) 评论(0) 推荐(0)

JVM调优-推荐启动参数
摘要：对JVM的设定将会很大程序上影响程序的运行，在不理想的情况下，即使服务器资源还比较充足，也容易出现运行缓慢或OutOfMemory的状况。 对JVM的调优首先要了解JVM的执行状况，Java提供了一些工具帮助我们了解JVM的情况。其中jmap可以看到启动程序的参数设定后的总体状况。 使用jmap - 阅读全文

posted @ 2017-04-28 21:06 zllqaz 阅读(179) 评论(0) 推荐(0)

Hadoop(2)-基于Amazon S3的文件系统
摘要：HDFS是Hadoop的分布式文件系统，但Hadoop除了HDFS，还支持其他文件系统，如基于Amazon S3存储的文件系统。 使用hadoop fs操作S3 我们可以直接使用hadoop的命令操作一个S3的Bucket，步聚如下： (使用hadoop-2.7.2，进入hadoop-2.7.2目录 阅读全文

posted @ 2017-04-28 21:03 zllqaz 阅读(1373) 评论(0) 推荐(0)

导航