摘要： 1、提交Topologies命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】【stormIP地址】【storm端口】【拓扑名称】【参数】eg：storm jar /home/storm/storm-starter.jar storm.starter.WordCountTopology wordcountTop;storm jar /home/storm/storm-starter.jar storm.starter.WordCountTopology wordcountTop 192.168.2.191 40000 analyse;#提交storm-starter.jar到 阅读全文

摘要： 一、安装Python二、安装zookeeper三、安装zeromq以及jzmqjzmp的安装貌似是依赖zeromq的，所以应该先装zeromq，再装jzmq。1、安装zeromq：jzmq dependencies 依赖包sudo yum install uuid*sudo yum install libtoolsudo yum install libuuidsudo yum install libuuid-develwgethttp://download.zeromq.org/zeromq-2.2.0.tar.gztar zxf zeromq-2.2.0.tar.gzcd zeromq-2. 阅读全文

摘要： 在hadoop帐户下一、下载hive-0.8.1.tar.gzwget mirrors.cnnic.cn/apache/hive/stable/hive-0.11.0.tar.gz二、解压到/opt/modules目录下tar -zxvfhive-0.11.0.tar.gzcd hive-0.11.0三、配置Hive的环境变量（该步在root帐户下）vi /etc/profile.d/java.shexport HIVE_HOME=/opt/modules/hive-0.11.0export PATH=$HIVE_HOME/bin:$PATH手动立即生效source /etc/profile四 阅读全文

摘要： 一、创建表hive建表的时候默认的分割符是'\001'，若在建表的时候没有指明分隔符，load文件的时候文件的分隔符需要是'\001'；若文件分隔符不是'001'，程序不会报错，但表查询的结果会全部为'null'；1、建表的时候指定分隔符：create table pokes(foo int,bar string) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile;lo 阅读全文

摘要： 一、/etc/profile或者~/.bashrcexport JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jreexport HADOOP_HOME=/home/hadoop/hadoop-1.0.0export HIVE_HOME=/home/hadoop/hive-0.8.1export HADOOP_CONF_DIR=$HOME/confexport HIVE_CONF_DIR=$HOME/hive-confexport CLASSPATH=$HIVE_HOME/lib:$JAVA_HOME/lib:$JAVA_HO 阅读全文

摘要： 一、下载sqoop和hadoopwgethttp://archive.cloudera.com/cdh/3/sqoop-1.3.0-cdh3u1.tar.gzwgethttp://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u1.tar.gz二、解压tar -zxvf sqoop-1.3.0-cdh3u1.tar.gztar -zxvfhadoop-0.20.2-cdh3u1.tar.gz三、设置环境变量export SQOOP_HOME=XXXXX四、相关jar包拷贝将Hadoop的hadoop-core-0.20.2-cdh3u1.jar、HB 阅读全文

摘要： 一、新建一个mapreduce工程二、在工程根目录下新建lib文件夹，放入commons-lang-2.5.jar、hbase-0.94.12.jar、protobuf-java-2.4.0.jar、zookeeper-3.4.5.jar三、将lib下的jar包加入Java Build Path四、编写mapreduce代码 1 package org.apache.hadoop.examples; 2 3 import java.io.IOException; 4 5 import org.apache.hadoop.conf.Configuration; 6 import org.ap.. 阅读全文

摘要： 一、新建本地java工程file->new->java project二、添加jar包和配置文件1、添加JAR包 右击Propertie在弹出的快捷菜单中选择Java Build Path对话框，在该对话框中单击Libraries选项卡，在该选项卡下单击Add External JARs按钮，定位到$HBASE/lib目录下，并选取如下JAR包。hadoop-core-1.0.0.jarcommons-loggings-version.jarcommons-cli-version.jarcommons-lang-version.jarcommons-configuration-ve 阅读全文

摘要： 1.到官方网站下载好hbase-0.90.4.tar.gz解压hbase安装包到一个可用目录（如：/opt）[html] view plaincopycd/opttarzxvfhbase-0.90.4.tar.gzchown-Rhadoop:hadoop/opt/hbase-0.90.42.设置环境变量：[html] view plaincopyvim～/.bashrcexportHBASE_HOME=/opt/hbase-0.90.4#根据自己的jdk安装目录设置PAHT=$PATH:$HBASE_HOME/bin3.hbase配置：在$HBASE_HOME/conf目录中，根据自己的jdk 阅读全文

摘要： 一、顺序式执行完一个mapreduce，再执行一个mapreduceConfiguration conf1 = new Configuration();conf1.set("mapred.job.tracker", "192.168.1.164:9001");String[] ars=new String[]{"T2G_input","T2G_output1"};String[] otherArgs = new GenericOptionsParser(conf1, ars).getRemainingArgs(); 阅读全文