大数据相关知识 - 随笔分类 - Striving_For_Dream

Hive之累计报表生成

摘要：Hive之累计报表生成 1. 原始数据 u01 2019/1/21 5u02 2019/1/23 6u03 2019/1/22 8u04 2019/1/20 3u01 2019/1/23 6u01 2019/2/21 8u02 2019/1/23 6u01 2019/2/22 4 2. 建表映射上述阅读全文

posted @ 2019-12-02 22:36 Striving_For_Dream 阅读(611) 评论(0) 推荐(1)

大数据技术之Sqoop

摘要：大数据技术之Sqoop 一、Sqoop简介 Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。请注意，1.99.7与1.4.6不兼容，且没有特征阅读全文

posted @ 2019-12-02 13:44 Striving_For_Dream 阅读(221) 评论(0) 推荐(1)

Hadoop运行环境搭建

摘要：Hadoop运行环境搭建更改为阿里的Centos7的yum源 #下载wget yum -y install wget #echo 下载阿里云的yum源配置 Centos-7.repo wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors. 阅读全文

posted @ 2019-12-02 13:24 Striving_For_Dream 阅读(171) 评论(0) 推荐(1)

Hive安装部署与配置

摘要：Hive安装部署与配置 1.1 Hive安装地址 1）Hive官网地址： http://hive.apache.org/ 2）文档查看地址： https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3）下载地址： http:// 阅读全文

posted @ 2019-12-02 12:49 Striving_For_Dream 阅读(357) 评论(0) 推荐(1)

HBase的部署与其它相关组件（Hive和Phoenix）的集成

摘要：HBase的部署与其它相关组件（Hive和Phoenix）的集成一、HBase部署 1.1、Zookeeper正常部署首先保证Zookeeper集群的正常部署，并启动之： /opt/module/zookeeper-3.4.5/bin/zkServer.sh start 1.2、Hadoop正常阅读全文

posted @ 2019-12-02 12:31 Striving_For_Dream 阅读(430) 评论(0) 推荐(1)

关于Hive创建分区目录且能查到数据的三种方法

摘要：关于Hive创建分区目录且能查到数据的三种方法 1. 使用dfs -mkdir 和 dfs -put 分别创建分区目录和上传数据，此时执行msck repair table 表名命令就能查询到数据 1. 使用dfs -mkdir -p /user/hive/warehouse-master/pv_ 阅读全文

posted @ 2019-11-16 10:37 Striving_For_Dream 阅读(1273) 评论(0) 推荐(1)

NameNode && Secondary NameNode工作机制

摘要：NameNode && Secondary NameNode工作机制 1）工作流程 2) fsimage和edits NameNode是HDFS的大脑,它维护着整个文件系统的目录树,以及目录树里所有的文件和目录,这些信息以俩种文件存储在文件系统:一种是命名空间镜像(也称为文件系统镜像,File Sy 阅读全文

posted @ 2019-10-18 18:56 Striving_For_Dream 阅读(252) 评论(0) 推荐(1)

Striving_For_Dream

随笔分类 - 大数据相关知识

公告