2023年3月12日
Spark
摘要： Spark Spark基础 Spark的定义 Spark是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一 Spark VS Hadoop Spark对于Hadoop拥有巨大的优势，但是spark无法完全替代Hadoop，Spark主要替代的是Hadoop中的Mapreduce计算模型， 阅读全文
posted @ 2023-03-12 18:32 BaiYunH 阅读(167) 评论(0) 推荐(0)
mysql
摘要： mysql 数据库相关概念 数据： 数据库：存储数据的仓库，数据是有组织的进行存储 数据库管理系统：操纵和管理数据库的大型软件 SQL：结构化查询语言（structured query language），是一套标准 常用数据库软件：Mysql，Oracle，SQL server mysql安装与启 阅读全文
posted @ 2023-03-12 18:32 BaiYunH 阅读(41) 评论(0) 推荐(0)
hive
摘要： Hive 一、Hive简介 什么是Hive Hive由FaceBook实现并开源 基于Hadoop的数据仓库工具 可以将结构化的数据映射为一张数据库表 并提供HQL（Hive Sql）查询功能 底层数据是存储在HDFS上的 Hive的本质是将SQL转化为MapReduce任务进行 不熟悉MapRed 阅读全文
posted @ 2023-03-12 18:31 BaiYunH 阅读(64) 评论(0) 推荐(0)
HBase
摘要： HBase 初识HBase 为什么列式存储广泛应用于OLAP（列式存储）中 传统的事务型数据库OLTP 如Orcle、Mysql等都是以行的方式进行存储的 分析型数据库OLAP使用的是列式存储，如HBase等大数据相关的数据库 行式存储的原理和特点 对于OLTP场景，大多都是对一整行的数据进行增删改 阅读全文
posted @ 2023-03-12 18:31 BaiYunH 阅读(132) 评论(0) 推荐(0)
Hadoop
摘要： Hadoop 主要包括HDFS(存储)/MapReduce(计算)/Yarn(资源调度) 特性优点以及注意事项： Hadoop的扩容能力很强：可以通过增加计算机数量来增加节点的数量 成本低：通过部署廉价的机器组成集群 效率高：将数据部署到了多台机器上，通过并发数据，使得Hadoop在节点之间动态并行 阅读全文
posted @ 2023-03-12 18:30 BaiYunH 阅读(193) 评论(0) 推荐(0)