艺术派大星

摘要： #一、数据类型 ##1、数值型 TINYINT — 微整型，只占用1个字节，只能存储0-255的整数。 SMALLINT– 小整型，占用2个字节，存储范围–32768 到 32767。 INT– 整型，占用4个字节，存储范围-2147483648到2147483647。 BIGINT– 长整型，占用 阅读全文

摘要： 首先开启hive服务端 新建maven项目 添加依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.6</ver 阅读全文

摘要： 一、hive基础概念 1、Hive是什么 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL ，它允许 阅读全文

摘要： 资源下载网址 链接：https://pan.baidu.com/s/1AsvsIK9ZT6JPkKMBR3LWpg 提取码：lycc 一、Hive的安装版本 我们的版本约定： JAVA_HOME=/usr/local/soft/jdk1.8.0_171 HADOOP_HOME=/usr/local/ 阅读全文

摘要： 一、集群规划 高可用原理 yarn资源调度原理 集群节点规划 二、搭建集群 注意：开始搭建之前务必关闭Hadoop ./stop-all.sh 1、免密钥设置 (远程执行命令) 在两个主节点生成密钥文件，master之前配置过，配置node1，原理相同 ssh-keygen -t rsa ssh-c 阅读全文

摘要： 链接：https://pan.baidu.com/s/1cb8ltOl3FdIV2t6j4hDM1w 提取码：lycc 一、Zookeeper集群搭建 1、下载压缩包，上传到虚拟机soft目录下，解压，安装之前记得先拍快照，关闭Hadoop集群 2、配置环境变量 vim /etc/profile e 阅读全文

摘要： 链接：https://pan.baidu.com/s/1vLGtYVv1VLJqaXY6LAsuLA 提取码：lycc 1、将下载好的hadoop-2.7.6.tar.gz包解压到任意目录 2、将下载的winutils-master.rar解压，选择自己的版本将bin目录下的hadoop.dll文件 阅读全文

摘要： 一、MapReduce概念知识 1、MapReduce概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. MapReduce是分布式运行的，由两个阶段组成：Map和Reduce， Map阶段：一个独立的程序，有很多个节点同时运行，每个节点处理 阅读全文

摘要： 1、使用IDEA，在之前创建的bigdata项目里面新建hadoop模块，导入相关hadoop包 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> 阅读全文

摘要： 三个节点简述： namenode: datanode: secondary node 1、分布式文件管理系统： 数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。 是 阅读全文