Hadoop技术 - 随笔分类 - 低调才是王道

eclipse远程调试Hadoop

摘要：环境需求：系统：window 10 eclipse版本：Mars Hadoop版本：2.6.0 资源需求：解压后的Hadoop-2.6.0，原压缩包自行下载：下载地址丑话前头说：以下的操作中，eclipse的启动均需要右键“管理员运行”！在创建MapReduce的Project那块需要配置l 阅读全文

posted @ 2016-05-15 16:22 低调才是王道阅读(11522) 评论(1) 推荐(2)

利用Apache Ant编译Hadoop2.6.0-eclipse-plugin

摘要：环境要求：系统不重要，重要的是要有Ant环境，这里不做赘述，自行百度配置去。 1）在github上下载Hadoop-eclipse-plugin-master的zip包，下载地址。 2）在Hadoop官网下载Hadoop2.6.0，下载地址。 3）解压上述俩压缩包。 4）在hadoop2x-ecli 阅读全文

posted @ 2016-05-14 22:54 低调才是王道阅读(1817) 评论(0) 推荐(1)

Hadoop MapReduce编程创建maven项目时所用到的pom依赖

摘要：junit junit 3.8.1 test org.apache.hadoop hadoop-common 2.6.0 ... 阅读全文

posted @ 2016-05-07 19:20 低调才是王道阅读(5694) 评论(1) 推荐(1)

Hadoop常用命令

摘要：一、Hadoop的hdfs dfs命令二、Hadoop的hdfs dfsadmin命令 1）文件/文件夹/空间大小限制命令 hdfs dfsadmin -setQuota 10 lisi 限制lisi目录只能有10个文件或者文件夹 hdfs dfsadmin -clrQuota lisi 清除li 阅读全文

posted @ 2016-05-07 15:21 低调才是王道阅读(3083) 评论(0) 推荐(1)

hadoop 集群部署ganglia 监控服务与nagios 报警服务

摘要：1. 部署ganglia 服务 ganglia 涉及到的组件: 数据监测节点（gmond）：这个部件装在需要监测的节点上，用于收集本节点的运行情况，并将这些统计信息传送到gmetad，Ubuntu系统中的ganglia-monitor包可以安装；数据收集节点（gmetad、gweb）：这个部件用于阅读全文

posted @ 2016-04-04 19:47 低调才是王道阅读(1442) 评论(0) 推荐(1)

eclipse配置hadoop插件

摘要：1. 版本信息 eclipse windows 64 bit hadoop 2.5.2 64 bit hadoop eclipse-plug 2.5.2 2. 下载hadoop-2.5.2.tar.gz http://mirror.bit.edu.cn/apache/hadoop/common/ha 阅读全文

posted @ 2015-08-07 14:20 低调才是王道阅读(3006) 评论(0) 推荐(1)

HDFS的java接口——简化HDFS文件系统操作

摘要：今天闲来无事，于是把HDFS的基本操作用java写出简化程序出来给大家一些小小帮助！阅读全文

posted @ 2015-07-16 17:54 低调才是王道阅读(675) 评论(0) 推荐(1)

Hadoop2.6.0在CentOS 7中的集群搭建

摘要：我这边给出我的集群环境是由一台主节点master和三台从节点slave组成： master 192.168.1.2 slave1 192.168.1.3 slave2 192.168.1.4 slave3 192.168.1.5 申明：我搭建的这个集群不是在普通用户，所以一下操作都是在超级用户roo 阅读全文

posted @ 2015-06-06 22:56 低调才是王道阅读(4594) 评论(0) 推荐(1)

ubuntu环境下eclipse的安装以及hadoop插件的配置

摘要：ubuntu环境下eclipse的安装以及hadoop插件的配置一、eclipse的安装在ubuntu桌面模式下，点击任务栏中的ubuntu软件中心，在搜索栏搜索eclipse 注意：安装过程需要输入用户密码。二、eclipse的配置待eclipse安装好以后,在命令行输入whereis e 阅读全文

posted @ 2014-11-14 16:43 低调才是王道阅读(4312) 评论(0) 推荐(1)

hadoop启动步骤

摘要：一、ssh的启动 ssh localhost二、hadoop的HDFS的格式化 bin/hadoop namenode -format三、hadoop的start-all.sh的启动 bin/tart-all.sh四、hadoop的datanode的启动 bin/hadoop-daemon.sh s 阅读全文

posted @ 2014-11-13 19:31 低调才是王道阅读(1146) 评论(0) 推荐(0)

Ubuntu下hadoop环境的搭建（伪分布模式）

摘要：Ubuntu下hadoop环境的搭建（伪分布模式）一、必要资源的下载 1、Java jdk（jdk-8u25-linux-x64.tar.gz）的下载具体链接为： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downl 阅读全文

posted @ 2014-11-13 18:47 低调才是王道阅读(888) 评论(1) 推荐(1)

随笔分类 - Hadoop技术