摘要：
数据库DDL操作 1.创建数据库 hive > create database db_hive; # 或者 hive > create database if not exists db_hive; 数据库在HDFS上的默认存储路径是/usr/hive/warehouse/数据库名.db 显示所有数 阅读全文
摘要：
前边已经搭建好了hive，也通过cli登录上了hive，那我们来简单说一下hive Hive概念 Hive是基于Hadoop的一个数据仓库工具 可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储支 阅读全文
摘要：
今天我们来聊一下大数据里的一个概念，数据仓库，数据仓库的分层结构，ETL 什么是数据仓库 数据仓库的英文名称为Data Warehouse，可简写为DW或DWH。 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持的目的而 阅读全文
摘要：
上一篇文章已经写了配置hive的步骤，也已经通过启动hive cli进去。现在使用代理服务器的方式操作hive hadoop01修改hadoop的core-site.xml文件 cd /bigdata/install/hadoop-3.1.4/etc/hadoop vi core-site.xml 阅读全文
摘要：
注意hive就是一个构建数据仓库的工具，只需要在一台服务器上安装就可以了，不需要在多台服务器上安装。 使用hadoop普通用户操作 前提条件 安装好对应版本的hadoop集群，并启动hadoop的HDFS以及YARN服务 hadoop02上安装了MySQL服务，并启动MySQL的服务 下载安装包 进 阅读全文
摘要：
安装部分 使用root用户，进入到/bigdata/soft目录，下载的文件会到这个目录，并安装wget工具 cd /bigdata/soft yum -y install wget 使用wget命令下载MySQL的rpm包 wget -i -c http://dev.mysql.com/get/m 阅读全文
摘要：
使用shell脚本添加新用户，设置密码，和删除用户 #!/bin/bash read -p "是否要添加用户？ 是（0）否（1）" USERADD if [ $USERADD -eq 0 ];then C=1 while [ $C -eq 1 ];do read -p "请输入添加账户账户名:" U 阅读全文
摘要：
yarn支持3种调度器，FIFO，容量，公平调度器。 ####FIFO调度算法 只有一个队列，任务执行是按照先进先出的顺序执行，无法支持多用户并发的场景。如下图 ####容器调度算法 yahoo开发的多用户调度器(apache yarn中默认使用） 特征 多队列：每个队列可配置一定的资源量，每个队列 阅读全文
摘要：
yarn作为hadoop的资源分配和调度的基础组件，有哪些相关的参数是和这个组件有关呢? ResourceManager相关 yarn.resourcemanager.scheduler.class #配置调度器，apache yarn默认容量调度器，CDH默认公平调度器 yarn.resource 阅读全文
摘要：
从标题可以分析出来，我们要使用到shell，还要推送日志信息到hdfs上。 定义出上传的路径和临时路径，并配置好上传的log日志信息。 这里我使用了上一节配置的nginx的error.log #上传log日志文件的存放路径 /bigdata/logs/upload/log/ #上传log日志文件的临 阅读全文