业余砖家

摘要： 背景 在写脚本程序的时候需要添加一些额外的参数来实现脚本的附加功能或者增强功能，通常的做法是通过sys.argv[i]直接来获取参数的值，但是这个比较局限，要求参数的输入一定要按照顺序。 fileName = sys.argv[1]; regName = sys.argv[2]; 如果在命令行输入的 阅读全文

摘要： 1．压缩 （1）Hive支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 对应的编码/解码器 DEFLATE 无 DEFLATE .deflate 否 org.apache.hadoop.io.compress.DefaultCodec Gzip gzip DEFLATE .gz 否 o 阅读全文

摘要： 1．查询操作语法 SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY col_list] [C 阅读全文

摘要： 1．Hive最基本操作 （1）启动hive bin/hive （2）查看数据库 hive> show databases; （3）打开默认数据库 hive> use default; （4）显示default数据库中的表 hive> show tables; （5）创建一张表 hive> creat 阅读全文

摘要： 1．基本数据类型 Hive基本数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int 4byte有符号整数 20 BIGINT long 8byte有符号整数 20 BOOLEAN bool 阅读全文

摘要： 一、安装Hive3.1.2 备注：在安装Hive3.1.2之前，请首先安装Hadoop3.1.3。 1. 下载并解压Hive安装包 tar -zxvf ./apache-hive-3.1.2-bin.tar.gz -C /usr/local cd /usr/local/ mv apache-hive 阅读全文

摘要： 一、Hive基本概念 1．什么是Hive? hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载。可以存储、查询和分析存储在Hadoop中的大规模数据。 hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务 阅读全文

摘要： 事实表 事实表，通常我们可以认为它就是数据表。 它是指，发生在现实世界中的各种事件所形成的数据，如: 商品购买(产生订单数据) 账户创建(创建账户数据) 退货行为(产生退货数据) 等等，一系列现实世界的操作，会反映在事实表中的记录之上。 维度表 维度表是事实表的补充。维度表的主键可以关联到事实表的外 阅读全文

摘要： 数据仓库的基本概念 数据仓库概念: 英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任 阅读全文

摘要： 数据导入 ● 本地文件导入 -- 本地文件导入(local) LOAD DATA local INPATH '/home/hadoop/sourceA.txt' INTO TABLE testA PARTITION(create_time='2015-07-08'); ● HDFS文件导入 -- H 阅读全文