随笔分类 -  Hadoop

摘要：一、服务器说明master 192.168.1.61node1 192.168.1.62node2 192.168.1.63二、网络配置（各服务器）参考伪分布式安装三、ssh免密码验证配置（各服务器）参考伪分布式安装master到slaver必须要免密码登陆slaver到master是否需要免密码登陆暂不确定四、安装JDK（各服务器）各台服务器都安装java，并配置环境变量参考伪分布式安装五、安装hadoop（各服务器）1、将hadoop的安装路径添加到环境变量中2、在"/opt/modules/hadoop"创建"tmp"文件夹，用于存放系统运行过程中 阅读全文

摘要：获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。2.浏览apache官网,三个配置文件链接如下: ht 阅读全文

摘要：package org.apache.hadoop.examples;import java.io.FileOutputStream;import java.io.IOException;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.ResultSetMetaData;import java.sql.SQLException;import java.util.ArrayList 阅读全文

摘要：一、下载sqoop和hadoopwgethttp://archive.cloudera.com/cdh/3/sqoop-1.3.0-cdh3u1.tar.gzwgethttp://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u1.tar.gz二、解压tar -zxvf sqoop-1.3.0-cdh3u1.tar.gztar -zxvfhadoop-0.20.2-cdh3u1.tar.gz三、设置环境变量export SQOOP_HOME=XXXXX四、相关jar包拷贝将Hadoop的hadoop-core-0.20.2-cdh3u1.jar、HB 阅读全文

摘要：一、顺序式执行完一个mapreduce，再执行一个mapreduceConfiguration conf1 = new Configuration();conf1.set("mapred.job.tracker", "192.168.1.164:9001");String[] ars=new String[]{"T2G_input","T2G_output1"};String[] otherArgs = new GenericOptionsParser(conf1, ars).getRemainingArgs(); 阅读全文

摘要：1、创建用户账号和Hadoop部署目录和数据目录#创建hadoop用户组/usr/sbin/groupadd hadoop#分配hadoop到hadoop组中/usr/sbin/useradd hadoop -g hadoop#给hadoop用户设置密码passwd hadoop#创建hadoop代码目录结构mkdir -p /opt/modules/hadoop/#创建hadoop数据目录结构mkdir -p /opt/data/hadoop/#修改 目录结构权限为hadoopchown -R hadoop:hadoop /opt/modules/hadoop/chown -R hadoop 阅读全文