随笔分类 -  大数据

摘要:在root的用户下搭建的 构建hive之前必须要先搭建好hadoop才可以。 hive定义了一种类似SQL查询语言--HQL 类似SQL ,但是不完全相同 Hive是一个数据仓库,它部署在Hadoop集群上,它的数据是存储在HDFS上的,Hive所建的表在HDFS上对应的是一个文件夹,表的内容对应的 阅读全文
posted @ 2017-10-12 17:09 Xiao_野猪 阅读(1046) 评论(0) 推荐(0)
摘要:在root的用户下搭建的 1): 前提 安装JDK配置JAVA_HOME 2):前提 安装启动zookeeper 3):前提 安装Hadoop客户端,配置HADOOP_HOME环境变量 4):下载解压HBase,wget http://mirror.bit.edu.cn/apache/hbase/s 阅读全文
posted @ 2017-10-12 10:44 Xiao_野猪 阅读(148) 评论(0) 推荐(0)
摘要:在root的用户下搭建的 • Azkaban安装部署(可参照:http://azkaban.github.io/azkaban/docs/latest/) 1):前提 安装JDK,安装Hadoop,Hive客户端环境 2):前提 安装 git 的命令 :apt-get install git 3): 阅读全文
posted @ 2017-10-12 09:25 Xiao_野猪 阅读(5490) 评论(1) 推荐(1)
摘要:在root的用户下 1):前提 安装JDK环境 2):前提 安装Hadoop和Hive客户端环境,如果需要导出到HBase则需要安装HBase客户端 3):下载sqoop : 命令: wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4 阅读全文
posted @ 2017-10-10 11:38 Xiao_野猪 阅读(227) 评论(0) 推荐(0)
摘要:在root的用户下 1):• 前提 安装JDK环境 2):• 在官网下载Flume,http://mirror.bit.edu.cn/apache/flume 既是:wget http://mirror.bit.edu.cn/apache/flume/1.7.0/apache-flume-1.7.0 阅读全文
posted @ 2017-10-09 22:38 Xiao_野猪 阅读(250) 评论(0) 推荐(0)
摘要:在root的用户下 1):前提 安装JDK环境,设置JAVA环境变量 2):下载kafka,命令:wget http://mirrors.shuosc.org/apache/kafka/0.10.2.1/kafka_2.10-0.10.2.1.tgz 3):下载zookeeper,命令:wget h 阅读全文
posted @ 2017-10-09 21:48 Xiao_野猪 阅读(8210) 评论(0) 推荐(0)