2021年1月18日

HADOOP之YARN简介

摘要： yarn的诞生：hadoop1.x版本JobTracker的作用是资源管理和任务的调度，当存在多个计算框架时，比如说spark，如果两个计算框架都有着自己的资源管理模块，就会存在资源竞争，不便于管理。此时就需要一个公共的资源管理模块，这就产生了YARN. hadoop2.x上的mapreduce是基阅读全文

posted @ 2021-01-18 21:32 金色的鱼儿阅读(766) 评论(0) 推荐(0)

Hadoop之HDFS中HA的搭建

摘要： Hadoop 1.0存在的问题：单点故障和内存受限（1）NameNode单点故障（NameNode只有一个，一旦宕机了，则数据就会丢失，虽然有配置SecondaryNameNode，但是SecondardyNameNode 合并元数据和日志文件需要时间的，所有还是会有部分数据会丢失）（2）Nam 阅读全文

posted @ 2021-01-18 21:12 金色的鱼儿阅读(426) 评论(0) 推荐(0)

Hadoop 完全分布式搭建

摘要：一、安装一台全新的Redhat 。二、更改静态IP地址（1）获取本机IP地址， ifconfig -a (2) 更改hosts 文件 vim /etc/hosts （3）更改hostname vim /etc/sysconfig/network （4）配置静态IP地址 vim /etc 阅读全文

posted @ 2021-01-18 21:08 金色的鱼儿阅读(127) 评论(0) 推荐(0)

Hadoop HA 模式搭建

摘要：一、 Hadoop 集群架构设计二、搭建集群修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。三、修改配置文件修改nna上的core-site.xml <configuration> <!-- 指定hdfs的names 阅读全文

posted @ 2021-01-18 21:01 金色的鱼儿阅读(132) 评论(0) 推荐(0)

一篇搞懂Sqoop

摘要： Sqoop产生背景（一） Sqoop 的产生主要源于： 1、目前很多使用hadoop技术的企业，有大量的数据存储在传统关系型数据库中。 2、早期由于工具的缺乏，hadoop与传统数据库之间的数据传输非常困难。 1）传统数据库中的数据导入到hadoop中，便于廉价的分析与处理 2）hadoop中的数据阅读全文

posted @ 2021-01-18 20:36 金色的鱼儿阅读(1774) 评论(0) 推荐(0)

解决Maven重复依赖问题（同一个jar，多个版本）

摘要：问题描述现在开发项目，一般都会创建maven工程，用它来管理依赖实在是方便了，当然它还有其它用途。但是在实际的情况中往往会有重复依赖的问题，比如创建的工程A，依赖了b-1.0.jar，而b-1.0.jar又依赖了d-1.0.jar（这个我们本身是不能直接看到的），同时我们自己的工程又依赖了d-2. 阅读全文

posted @ 2021-01-18 16:28 金色的鱼儿阅读(8546) 评论(0) 推荐(0)

HADOOP基础学习四（用JAVA将HDFS中的数据插入到MYSQL中）

摘要：一、从主节点中查看要插入的文件在HDFS上的元信息数据并没有存放在主节点中，主节点用于维护文件系统，存放元信息（文件的属性，路径，大小，在DN上的位置信息等）二、在MYSQL中建好表用于插入数据三、编写代码 java中要有Hadoop和数据库的依赖包 package hdfs; import 阅读全文

posted @ 2021-01-18 15:45 金色的鱼儿阅读(481) 评论(0) 推荐(0)

文件存储HDFS和数据库MySQL双向数据迁移

摘要：本文档介绍如何使用Sqoop工具实现文件存储HDFS和关系型数据库MySQL之间的双向数据迁移。背景信息 Sqoop是一款开源的工具，主要用于在Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据。既可以将一个关系型数据库（MySQL 、Oracle 、Postgres等）中的数据导阅读全文

posted @ 2021-01-18 15:41 金色的鱼儿阅读(673) 评论(0) 推荐(0)

Hadoop中HDFS是怎么维护数据的

摘要： HDFS文件的系统中，是将文件分为多个block进行存储的，并将存储的block赋值多个副本，存储在不同的主机上，那么HDFS是怎么来维护这些数据的呢，文件是存储在哪里？首先，hafs文件系统中，文件是存储在哪里。很多人会说，当然存储在磁盘上，如果真的只是存储存在磁盘上，那么从hdfs中读取文件阅读全文

posted @ 2021-01-18 15:05 金色的鱼儿阅读(326) 评论(0) 推荐(0)

大数据之Hbase（一）：HBase简介、BigTable、面向列的数据库、非结构化数据存储、HBase在Hadoop生态中的地位、 HBase与HDFS、HBase使用场景

摘要：文章目录 5.1 HBase简介什么是HBase BigTable 面向列的数据库什么是非结构化数据存储 HBase在Hadoop生态中的地位 HBase与HDFS HBase使用场景 5.1 HBase简介 1 什么是HBase HBase是一个分布式的、面向列的开源数据库 HBase是Goo 阅读全文

posted @ 2021-01-18 15:03 金色的鱼儿阅读(670) 评论(0) 推荐(0)

网易大数据之数据存储：HDFS

摘要：一、HDFS基础架构 1、HDFS特点：水平扩展、高容错性、廉价硬件、开源生态系统 2、Hadoop生态圈 1）、分布式存储系统（HDFS），2）、资源管理框架（YARN），3）、批处理框架（MapReduce、Pig），4）、数据仓库（Hive），5）、NoSQL系统（HBase、Drill），6 阅读全文

posted @ 2021-01-18 14:34 金色的鱼儿阅读(771) 评论(0) 推荐(0)

hdfs常见操作java示例

摘要：我们学习hadoop，最常见的编程是编写mapreduce程序，但是，有时候我们也会利用java程序做一些常见的hdfs操作。比如删除一个目录，新建一个文件，从本地上传一个文件到hdfs等，甚至是追加内容到hdfs文件中。这里介绍一些常见的hdfs操作的java示例，帮助我们加深对hdfs的理解。阅读全文

posted @ 2021-01-18 13:53 金色的鱼儿阅读(457) 评论(0) 推荐(0)

Hadoop基础---HDFS的Java客户端编写

摘要： Hadoop基础 HDFS的Java客户端编写目录补充：Eclipse自动补全快捷键一：导入jar包（一）定义用户依赖库（二）导入 hdfs基础jar包（三）导入hdfs基础jar包所依赖的库（四）导入公共jar包（五）导入公共jar包所需lib库（六）：创建类二：实现下载文件（一阅读全文

posted @ 2021-01-18 13:48 金色的鱼儿阅读(143) 评论(0) 推荐(0)

Sqoop2 从MySQL导入数据到Hadoop HDFS

摘要：前言 Apache Sqoop(TM) is a tool designed for efficiently transferring bulk data between Apache Hadoop and structured datastores such as relational datab 阅读全文

posted @ 2021-01-18 11:23 金色的鱼儿阅读(543) 评论(0) 推荐(0)

mysql数据与Hadoop之间导入导出之Sqoop实例

摘要：前面介绍了sqoop1.4.6的如何将mysql数据导入Hadoop之Sqoop安装，下面就介绍两者间的数据互通的简单使用命令。显示mysql数据库的信息，一般sqoop安装测试用 sqoop list-databases --connect jdbc:mysql://192.168.2.101 阅读全文

posted @ 2021-01-18 10:48 金色的鱼儿阅读(203) 评论(0) 推荐(0)

如何将mysql数据导入Hadoop之Sqoop安装

摘要： Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库阅读全文

posted @ 2021-01-18 10:41 金色的鱼儿阅读(239) 评论(0) 推荐(0)

2021年1月18日

公告