随笔分类 -  大数据

HBase
摘要：1. HBase 简介 1.1 什么是 HBase？ 1.2 概念 1.3 HBase 存储 1.4 HBase 架构 2. HBase 命令 1. HBase 简介 1.1 什么是 HBase？ HBase（Hadoop Database）是一个高可靠性、高性能、面向列的、可伸缩的分布式存储系统。 阅读全文
posted @ 2021-05-29 21:18 Juno3550 阅读(286) 评论(0) 推荐(0)
Sqoop
摘要：1. 概念 Sqoop 是一款开源的数据迁移工具，主要用于在 Hadoop（Hive）与传统数据库（Mysql、Oracle...）间进行数据的相互传递，可以将一个关系型数据库（MySQL、Oracle、Postgres 等）中的数据导入到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据 阅读全文
posted @ 2021-05-29 20:36 Juno3550 阅读(191) 评论(0) 推荐(0)
Hive
摘要：1. Hive 简介 1.1 什么是 Hive？ 1.2 Hive 系统架构 2. Hive 配置管理 2.1 Hive 安装配置 2.2 Mysql 配置 2.3 Hive 运行模式 2.4 Hive 启动方式 3. Hive 数据类型及表结构 3.1 数据类型 3.2 数据存储 3.3 数据库 阅读全文
posted @ 2021-05-29 15:53 Juno3550 阅读(299) 评论(0) 推荐(0)
Hadoop & Spark 介绍
摘要：1. Hadoop 简介 2. MapReduce 3. HDFS 4. 数据采集、存储、计算 5. RPC 6. 序列化 7. Spark 1. Hadoop 简介 目前主流的大数据框架 大数据框架能处理传统计算技术所无法处理的大型数据集。它不是单一的技术或工具，而是涉及的业务和技术的许多领域。 阅读全文
posted @ 2021-05-28 23:01 Juno3550 阅读(1537) 评论(0) 推荐(0)
“云计算、大数据、人工智能”简介与关系
摘要：云计算、大数据和人工智能，这三个东西已非常火，并且它们之间好像互相有关系：一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间相辅相成又不可分割。 1. 云计算 1.1 云计算最初的目标 【1】管数据中心就像配电脑 【2】灵活就是想啥时要都有，想要多 阅读全文
posted @ 2021-05-28 14:35 Juno3550 阅读(1083) 评论(0) 推荐(0)