代码改变世界

随笔分类 -  Hadoop

Hadoop Java Hdfs API

2015-07-09 03:36 by DoPeter, 554 阅读, 收藏,
摘要： 1. 在本地文件系统生成一个文本文件，，读入文件，将其第101-120字节的内容写入HDFS成为一个新文件2. 在HDFS中生成文本文件，读入这个文件，将其第101-120字节的内容写入本地文件系统成为一个新文件环境部署：http://www.cnblogs.com/dopeter/p/463079... 阅读全文

Eclipse提交任务至Hadoop集群遇到的问题

2015-07-08 17:17 by DoPeter, 1364 阅读, 收藏,
摘要： 环境：Windows8.1，Eclipse用Hadoop自带的wordcount示例hadoop2.7.0hadoop-eclipse-plugin-2.7.0.jar //Eclipse的插件，需要对应Hadoop当前版本基本步骤有很多博客已经提及，就不再赘述1. 将hadoop-eclipse-... 阅读全文

CentOS7 安装Hbase集群

2015-07-02 02:21 by DoPeter, 3587 阅读, 收藏,
摘要： 继续接上一章，已安装好Hadoop集群环境http://www.cnblogs.com/dopeter/p/4612232.html在此基础上继续安装Hbase集群Hbase版本为1.0.1.1一、 安装与配置Hbase1. 解压tar -zxvf hbase-1.0.1.1-bin.tar.gz-... 阅读全文

CentOS7 安装Hadoop集群环境

2015-07-01 04:08 by DoPeter, 4627 阅读, 收藏,
摘要： 先按照上一篇安装与配置好CentOS以及zookeeperhttp://www.cnblogs.com/dopeter/p/4609276.html本章介绍在CentOS搭建Hadoop集群环境一、 安装Hadoop1. 解压文件tar -zxvf hadoop-2.7.0-x64.tar.gz -... 阅读全文

CentOS7 安装zookeeper

2015-06-30 01:13 by DoPeter, 12499 阅读, 收藏,
摘要： 本章介绍CentOS的初始配置与zookeeper的安装。www.apache.org/dist/上可以下载Hadoop整个生态环境的组件，我下的Zookeeper3.4.6版本我一般都是在一个虚拟机上将一、二步都做完，然后克隆出来，再到克隆出来的虚拟机上分别配置，毕竟能省则省，不要重复劳动。一、C... 阅读全文