随笔分类 -  Hadoop成长之路

分门别类介绍Hadoop
Hadoop Webhdfs
摘要：webhdfs：使用http协议访问HDFS 一、需要配置项： 1、编辑httpfs-env.sh，设置webdfs访问端口 2、编辑core-site.xml，设置代理主机 3、编辑hdfs-site.xml 二、重启并访问webhdfs 1、重启NameNode，执行httpfs.sh star 阅读全文
posted @ 2017-07-10 10:58 fee先生 阅读(4621) 评论(1) 推荐(0)
Hadoop HDFS的Java操作
摘要：package com.test.hdfs; import java.io.IOException; import java.io.OutputStream; import java.net.URI; import java.net.URISyntaxException; import java.util.Iterator; import org.apache.hadoop.conf.Con... 阅读全文
posted @ 2017-07-10 10:45 fee先生 阅读(379) 评论(0) 推荐(0)
Hadoop JobHistory
摘要：JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml中配置并手动启动。 1、mapred-site.xml配置信息： 2、启动 jobhistory server [xfvm@xfv 阅读全文
posted @ 2017-07-10 10:37 fee先生 阅读(3528) 评论(0) 推荐(0)
使用Eclipse构建Maven项目环境搭建
摘要：一、下载并安装jdk 1、下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 2、傻瓜式“下一步”，“下一步”安装 3、环境变量配置： JAVA_HOME C:\Program Files\Java\jdk1 阅读全文
posted @ 2017-06-20 15:07 fee先生 阅读(1992) 评论(0) 推荐(0)
Hadoop基础 — Hadoop Shell
摘要：[xfvm@xfvm01 ~]$ hdfs dfs -help Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> 阅读全文
posted @ 2017-06-14 11:36 fee先生 阅读(221) 评论(0) 推荐(0)
史上最完整Hadoop2.x完全分布式安装部署-小白也能学会
摘要：一、环境要求：1、 虚拟机安装并设置网络；2、 修改主机地址映射；3、 必备软件：Jdk、Development Tools Development Libraries gcc c++等已安装；4、 修改windows主机C:\Windows\System32\drivers\etc\hosts在h... 阅读全文
posted @ 2015-09-21 09:45 fee先生 阅读(415) 评论(0) 推荐(0)
最新Hadoop Shell完全讲解
摘要：本文为原创博客，转载请注明出处：http://www.cnblogs.com/MrFee/p/4683953.html1、appendToFile 功能：将一个或多个源文件系统的内容追加至目标文件系统 使用方法：hadoop fs -appendToFile 源文件1，源文件2...... 阅读全文
posted @ 2015-07-28 18:08 fee先生 阅读(4100) 评论(0) 推荐(0)