大数据 - 随笔分类 - lam99v

Spark编程实现SQL查询的实例

摘要：1、Oracle中的SQL select count(1) from a_V_PWYZL_CUSTACCT_PSMIS t where not exists (select 1 from tb_show_multi_question q WHERE q.dqmp_rule_code = '仅比对系统阅读全文

posted @ 2014-06-17 16:31 lam99v 阅读(2080) 评论(0) 推荐(0)

hbase使用-java操作

摘要：package top.liboss.hbase; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; 阅读全文

posted @ 2014-06-17 15:37 lam99v 阅读(275) 评论(0) 推荐(0)

在eclipse中配置spark 0.9.1源码的开发环境

摘要：一、准备工作： 1、下载release版spark 0.9.1，本次用的版本是spark-0.9.1-bin-cdh4。 2、下载scala IDE 3.0.2，这个版本ide的支持scala 2.10版。二、配置工作 1、在ide中新建scala项目，注意jre要用jdk1.7版的。如下图： 2、找到spark-0.9.1-bin-cdh4\core\src\main，目录下java、... 阅读全文

posted @ 2014-05-08 15:06 lam99v 阅读(890) 评论(0) 推荐(0)

storm的安装配置

摘要：一、安装Zookeeper 1、设置.profile文件： export ZOOKEEPER_HOME=/home/hadoop/streamdata/zookeeper-3.4.5-cdh4.5.0export PATH=$PATH:$ZOOKEEPER_HOME/bin 2、设置zoo.cfg文件： tickTime=2000dataDir=/home/hadoop/streamdat... 阅读全文

posted @ 2014-03-21 16:07 lam99v 阅读(404) 评论(0) 推荐(0)

Hbase的安装配置

摘要：一、上传解压后的Hbase文件。二、配置： 1、.bash_profile文件： export HBASE_HOME=/home/kituser/bigdata/hbase-0.94.6-cdh4.5.0export CLASSPATH=$CLASSPATH:$HBASE_HOME/libexport PATH=$PATH:$HBASE_HOME/bin:$HBASE_HOME/sbin ... 阅读全文

posted @ 2014-02-26 11:10 lam99v 阅读(523) 评论(0) 推荐(0)

hive 0.11的安装配置

摘要：一、上传hive 0.11解压后的文件到linux 1、用的版本是shark站点提供的，可能是针对shark修改了代码。 2、追加mysql、oracle两个jdbc驱动包到lib目录下。二、配置相关文件 1、.bash_profile文件 export HIVE_HOME=/home/kituser/bigdata/hive-0.11.0-binexport HIVE_CONF_DIR... 阅读全文

posted @ 2014-02-20 14:50 lam99v 阅读(443) 评论(0) 推荐(0)

Spark 0.9的安装配置

摘要：一、上传scala2.10.3到linux 下载scala 2.10.3文件。网上的scala-2.10.3.tgz、scala-2.10.3.rpm，前者支持unix，后者专门给linux使用。但我这里还是使用了前者，因为是绿色的，方便配置。二、上传Spark0.9的解压后文件三、配置相关文件 1、.bash_profile文件 export SCALA_HOME=/home/kitu... 阅读全文

posted @ 2014-02-20 11:51 lam99v 阅读(742) 评论(0) 推荐(0)

hadoop cdh 4.5的安装配置

摘要：春节前用的shark，是从github下载的源码，自己编译。shark的master源码仅支持hive 0.9，支持hive 0.11的shark只是个分支，不稳定，官方没有发布release版，在使用过程中出现了一些问题。现在官方将hive 0.11分布合并到主干代码，并且发布了支持hive 0.11的稳定版本。为了使用最新的shark 0.9，需要重新安装部署整个环境，包括：hadoop c... 阅读全文

posted @ 2014-02-19 16:18 lam99v 阅读(758) 评论(0) 推荐(0)

shark错误：Query returned non-zero code: -101

摘要：环境：shark(0.11分支编译)+spark 0.8+hive 0.11(编译)+hadoop 2.00 cdh4.4 用sharkserver的方式执行一段时间后，通过kit-b8连接到kit-b5的sharkserver上，执行时报以下错误： Hive history file=/tmp/hadoop/hive_job_log_hadoop_48828@kit-b8_201402180... 阅读全文

posted @ 2014-02-18 10:32 lam99v 阅读(1646) 评论(0) 推荐(0)

hive0.11的编译/安装/配置

摘要：一、获取hive 0.11文件 1、直接在apache网站下载release版 2、自己下载源码编译。方法： git clone https://github.com/amplab/hive.git -b shark-0.11 git_hive-0.11_shark cd git_hive-0.11_shark ant package 因为我是为了后面和shark一起用,apac... 阅读全文

posted @ 2014-01-03 17:28 lam99v 阅读(1035) 评论(0) 推荐(0)

问题记录：spark读取hdfs文件出错

摘要：错误信息： scala> val file = sc.textFile("hdfs://kit-b5:9000/input/README.txt") 13/10/29 16:59:45 DEBUG MutableMetricsFactory: field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.... 阅读全文

posted @ 2014-01-03 14:40 lam99v 阅读(1364) 评论(0) 推荐(0)

Spark0.8.0的安装配置

摘要：1、profile export SCALA_HOME=/home/hadoop/scala-2.9.3SPARK_080=/home/hadoop/spark-0.8.0export SPARK_HOME=$SPARK_080export SPARK_EXAMPLES_JAR=$SPARK_HOME/examples/target/spark-examples_2.9.3-0.8.0-inc... 阅读全文

posted @ 2014-01-03 13:02 lam99v 阅读(465) 评论(0) 推荐(0)

Hadoop-chd4.4.0安装

摘要：Hadoop-cdh4下载地址： http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDHTarballs/3.25.2013/CDH4-Downloadable-Tarballs/CDH4-Downloadable-Tarballs.html 一、建立linux用户添加组：groupadd hadoopgr... 阅读全文

posted @ 2014-01-03 10:10 lam99v 阅读(611) 评论(0) 推荐(0)

hadoop-1.2.0安装记录

摘要：一、添加用户（各机器均一致）添加组： sudo addgroup hadoop 添加用户并到组：sudo adduser -ingroup hadoop hadoop 二、ssh无验证登陆 1、用hadoop登陆，执行： ssh-keygen -t rsa -P "" cat .ssh/id_rsa.pub >> .ssh/aut... 阅读全文

posted @ 2014-01-03 09:54 lam99v 阅读(218) 评论(0) 推荐(0)

liboss

随笔分类 - 大数据