业余砖家

摘要： 一、安装Hive3.1.2 备注：在安装Hive3.1.2之前，请首先安装Hadoop3.1.3。 1. 下载并解压Hive安装包 tar -zxvf ./apache-hive-3.1.2-bin.tar.gz -C /usr/local cd /usr/local/ mv apache-hive 阅读全文

摘要： 一、Hive基本概念 1．什么是Hive? hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载。可以存储、查询和分析存储在Hadoop中的大规模数据。 hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务 阅读全文

摘要： 事实表 事实表，通常我们可以认为它就是数据表。 它是指，发生在现实世界中的各种事件所形成的数据，如: 商品购买(产生订单数据) 账户创建(创建账户数据) 退货行为(产生退货数据) 等等，一系列现实世界的操作，会反映在事实表中的记录之上。 维度表 维度表是事实表的补充。维度表的主键可以关联到事实表的外 阅读全文

摘要： 数据仓库的基本概念 数据仓库概念: 英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任 阅读全文

摘要： 数据导入 ● 本地文件导入 -- 本地文件导入(local) LOAD DATA local INPATH '/home/hadoop/sourceA.txt' INTO TABLE testA PARTITION(create_time='2015-07-08'); ● HDFS文件导入 -- H 阅读全文

摘要： Hive概述 架构于Hadoop之上，可以将结构化的HDFS文件映射成一张表，并提供了类似于SQL语法的HQL查询功能。 核心本质：将HQL语句转换成MapReduce任务。 Hive的优缺点 优点 避免了开发人员去实现Map和Reduce的接口，大大降低了学习成本。 HQL语法类似于SQL语法，简 阅读全文

摘要： 相同点 insert into 和 insert overwrite 都是往表中插入数据的。 不同点 区别1： insert into ：其实是将数据追加到表的末尾，注意：不是覆盖，是追加。 insert overwrite : 其实是将重写表（或分区）中的内容，即将原来的hive表（或分区）中的数 阅读全文

摘要： DBA操作规范 1、涉及业务上的修改/删除数据，在得到业务方、CTO的邮件批准后方可执行，执行前提前做好备份，必要时可逆。 2、所有上线需求必须走工单系统，口头通知视为无效。 3、在对大表做表结构变更时，如修改字段属性会造成锁表，并会造成从库延迟，从而影响线上业务，必须在凌晨0:00后业务低峰期执行 阅读全文

摘要： 1、数据库设计方面 A. 对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 B. 应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描。 如： select id from t where nu 阅读全文

摘要： 一、谓词下推 Predicate PushDown 谓词下推的目的：将过滤条件尽可能地下沉到数据源端。 谓词，用来描述或判定客体性质、特征或者客体之间关系的词项,英文翻译为predicate，而谓词下推的英文Predicate Pushdown中的谓词指返回bool值即true和false的函数，或 阅读全文