摘要：一、/etc/profile或者~/.bashrcexport JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jreexport HADOOP_HOME=/home/hadoop/hadoop-1.0.0export HIVE_HOME=/home/hadoop/hive-0.8.1export HADOOP_CONF_DIR=$HOME/confexport HIVE_CONF_DIR=$HOME/hive-confexport CLASSPATH=$HIVE_HOME/lib:$JAVA_HOME/lib:$JAVA_HO 阅读全文

摘要：一、下载sqoop和hadoopwgethttp://archive.cloudera.com/cdh/3/sqoop-1.3.0-cdh3u1.tar.gzwgethttp://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u1.tar.gz二、解压tar -zxvf sqoop-1.3.0-cdh3u1.tar.gztar -zxvfhadoop-0.20.2-cdh3u1.tar.gz三、设置环境变量export SQOOP_HOME=XXXXX四、相关jar包拷贝将Hadoop的hadoop-core-0.20.2-cdh3u1.jar、HB 阅读全文

摘要：一、新建一个mapreduce工程二、在工程根目录下新建lib文件夹，放入commons-lang-2.5.jar、hbase-0.94.12.jar、protobuf-java-2.4.0.jar、zookeeper-3.4.5.jar三、将lib下的jar包加入Java Build Path四、编写mapreduce代码 1 package org.apache.hadoop.examples; 2 3 import java.io.IOException; 4 5 import org.apache.hadoop.conf.Configuration; 6 import org.ap.. 阅读全文

摘要：一、新建本地java工程file->new->java project二、添加jar包和配置文件1、添加JAR包 右击Propertie在弹出的快捷菜单中选择Java Build Path对话框，在该对话框中单击Libraries选项卡，在该选项卡下单击Add External JARs按钮，定位到$HBASE/lib目录下，并选取如下JAR包。hadoop-core-1.0.0.jarcommons-loggings-version.jarcommons-cli-version.jarcommons-lang-version.jarcommons-configuration-ve 阅读全文

摘要：1.到官方网站下载好hbase-0.90.4.tar.gz解压hbase安装包到一个可用目录（如：/opt）[html] view plaincopycd/opttarzxvfhbase-0.90.4.tar.gzchown-Rhadoop:hadoop/opt/hbase-0.90.42.设置环境变量：[html] view plaincopyvim～/.bashrcexportHBASE_HOME=/opt/hbase-0.90.4#根据自己的jdk安装目录设置PAHT=$PATH:$HBASE_HOME/bin3.hbase配置：在$HBASE_HOME/conf目录中，根据自己的jdk 阅读全文

摘要：一、顺序式执行完一个mapreduce，再执行一个mapreduceConfiguration conf1 = new Configuration();conf1.set("mapred.job.tracker", "192.168.1.164:9001");String[] ars=new String[]{"T2G_input","T2G_output1"};String[] otherArgs = new GenericOptionsParser(conf1, ars).getRemainingArgs(); 阅读全文

摘要：（1）pyhton shell下导入MySQLdb失败。（2）下载解压MySQL-python。http://pypi.python.org/pypi/MySQL-python/#downloads（3）build时提示缺少setuptools。PS：build时我还遇到过提示“mysql_config not found”的问题。解决方法：使用whereis mysql命令找到mysql安装目录，假设mysql安装在/usr/local/mysql，回到MySQLdb源码目录.vi setup_posix.py编辑该文件。找到mysql_config.path 一行，改为mysql_conf 阅读全文

摘要：第一步：下载MongoDB安装包MongoDB的官网：http://www.mongodb.org 找到相应的版本下载。如果有网络的话，用命令直接下载（CentOS版本）wgethttp://fastdl.mongodb.org/linux/mongodb-linux-i686-1.8.0.tgz第二步：解压压缩包tar -zxvf mongodb-linux-i686-2.0.2.tgz第三步：安装准备将mongodb移动到/usr/local/mongdb文件夹mv mongodb /usr/local/mongodb或者[root@localhost mongodb-linux-i686 阅读全文

摘要：1、创建用户账号和Hadoop部署目录和数据目录#创建hadoop用户组/usr/sbin/groupadd hadoop#分配hadoop到hadoop组中/usr/sbin/useradd hadoop -g hadoop#给hadoop用户设置密码passwd hadoop#创建hadoop代码目录结构mkdir -p /opt/modules/hadoop/#创建hadoop数据目录结构mkdir -p /opt/data/hadoop/#修改 目录结构权限为hadoopchown -R hadoop:hadoop /opt/modules/hadoop/chown -R hadoop 阅读全文

摘要：问题：用VMware克隆CentOS6.4后，发现系统内只有eth1,而且/etc/sysconfig/network-scripts/下只有，ifcfg-eth0文件，虽然可以上网，但无法设置静态IP。ifconfig eth0eth1: error fetching interface information: Device not found解决：vi /etc/udev/rules.d/70-persistent-net.rules# PCI device 0x1022:0x2000 (pcnet32)SUBSYSTEM=="net", ACTION==" 阅读全文