随笔分类 -  大数据相关

Hive数据类型和DDL操作
摘要：hive命令在Linux下的命令行中直接输入如下命令，可以查看帮助信息： 1 # hive -help常用的如-e、-f参数。使用-e参数，可以直接在命令行传递SQL语句进行hive表数据的查询： 1 # hive -e "select * from testhive.testtable"使用-f参数，可以在命令行中传递文件进行进行hive表数据的查询，首先使用如下命令创建一个名为test.h... 阅读全文
posted @ 2019-12-18 10:06 Dcl_Snow 阅读(606) 评论(0) 推荐(0)
Hive安装、配置和使用
摘要：Hive概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hive本质是：将HQL转化成MapReduce程序。Hive处理的数据存储在HDFS中，分析数据底层的实现可以是MapReduce、tes或者Spark，其执行程序运行在Yarn上。Hive优缺点优点：1.使用简单，类SQL语法易于使用。2.可扩展性，可以随时扩展集群规模。3.延... 阅读全文
posted @ 2019-12-04 09:01 Dcl_Snow 阅读(1439) 评论(0) 推荐(0)
CentOS 7安装配置MySQL 5.7
摘要：概述前文记录了在Windows系统中安装配置MySQL 5.7（前文连接：https://www.cnblogs.com/Dcl-Snow/p/10513925.html），由于安装部署大数据环境需要，现在要在CentOS 7系统中安装配置MySQL 5.7，CentOS 7环境安装配置也已经记录过（前文连接：https://www.cnblogs.com/Dcl-Snow/p/10811659.... 阅读全文
posted @ 2019-12-02 10:57 Dcl_Snow 阅读(520) 评论(0) 推荐(0)
Hbase数据结构和shell操作
摘要：Hbase的数据结构基本要素：命名空间、表、行、列、单元格，region，时间戳。1.命名空间：NameSpaces的作用Table：表，所有的表都是命名空间的成员，即表必属于某个命名空间，如果没有指定，则在default默认的命名空间中。RegionServer group：一个命名空间包含了默认的RegionServer Group。Permission：权限，命名空间能够定义访问控制列表AC... 阅读全文
posted @ 2019-08-30 08:50 Dcl_Snow 阅读(710) 评论(0) 推荐(0)
Hbase的安装和配置
摘要：Hbase简介Hbase概述Hbase原型是Google的BigTable论文，受到了改论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可以在廉价的服务器上搭建起大规模的结构化存储集 阅读全文
posted @ 2019-08-14 10:37 Dcl_Snow 阅读(4356) 评论(1) 推荐(1)
ZooKeeper安装、配置和使用
摘要：ZooKeeper 阅读全文
posted @ 2019-07-31 10:48 Dcl_Snow 阅读(22089) 评论(0) 推荐(3)
hadoop的安装和配置
摘要：hadoop安装在Apache Hadoop主页的下载页面https://hadoop.apache.org/releases.html选择版本进行下载：下载下来的是压缩包：将压缩包使用Xftp上传hadoop-1的/usr目录下：执行命令： 1 # tar -zxvf hadoop-2.7.7.tar.gz解压完成后会在/usr目录下生成hadoop-2.7.7目录：然后设置环境变量： 1 ... 阅读全文
posted @ 2019-05-07 14:17 Dcl_Snow 阅读(12886) 评论(2) 推荐(1)
VMware Workstation安装CentOS 7和开发环境
摘要：VMware Workstation新建虚拟机此处使用的是VMware Workstation 10，其安装过程即是常规Windos系统下软件安装方式，略过。安装完成双击图标：打开虚拟机主界面：点击创建新的虚拟机：默认“典型”就好，点击“下一步”：选中最下面的选项“稍后安装操作系统”，点击“下一步”：选择第二项“Linux”，再版本的下拉菜单种选择“CentOS 64 位”：点击“下一步”，按需填... 阅读全文
posted @ 2019-05-05 10:37 Dcl_Snow 阅读(625) 评论(0) 推荐(0)