摘要：参考： https://www.cnblogs.com/barneywill/p/10400788.html CM金丝雀Canary报错 1 HDFS 金丝雀Canary 测试无法为 /tmp/.cloudera_health_monitoring_canary_files 创建父目录。 2 Hiv 阅读全文

摘要：从节点datanode启动成功,但是后台查看发现未连接namenode,查看日志提示如下: 2019-02-26 13:53:16,307 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to serv 阅读全文

摘要：使用如下命令 ： hdfs dfsadmin -report 转载于：https://blog.csdn.net/smugaoyi/article/details/64497935 阅读全文

摘要：在使用 cloudera manager 安装 hdfs 的过程中，报错 using /usr/java/jdk1.7.0_67/ as JAVA_HOME using 5 as CDH_VERSION using /opt/cm-5.7.0/run/cloudera-scm-agent/proce 阅读全文

摘要：Hadoop集群肯定还是要在linux下使用好些，但是对于想尝鲜的开发者或者上层应用开发来说，在windows下搭建一个单节点的应用也是蛮有必要的，当然只作为开发测试环境^_^。 一、环境准备 1、JDK安装 2、Hadoop安装包（官网下载） 3、hadooponwindows-master（可使 阅读全文

摘要：yarn的诞生：hadoop1.x版本JobTracker的作用是资源管理和任务的调度，当存在多个计算框架时，比如说spark，如果两个计算框架都有着自己的资源管理模块，就会存在资源竞争，不便于管理。此时就需要一个公共的资源管理模块，这就产生了YARN. hadoop2.x上的mapreduce是基 阅读全文

摘要：Hadoop 1.0存在的问题：单点故障和内存受限 （1）NameNode单点故障（NameNode只有一个，一旦宕机了，则数据就会丢失，虽然有配置SecondaryNameNode，但是SecondardyNameNode 合并元数据和日志文件需要时间的，所有还是会有部分数据会丢失） （2）Nam 阅读全文

摘要：一 、 安装一台全新的Redhat 。 二 、 更改静态IP地址 （1）获取本机IP地址， ifconfig -a (2) 更改hosts 文件 vim /etc/hosts （3）更改hostname vim /etc/sysconfig/network （4） 配置静态IP地址 vim /etc 阅读全文

摘要：一 、 Hadoop 集群架构设计 二 、 搭建集群 修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。 三 、修改配置文件 修改nna上的core-site.xml <configuration> <!-- 指定hdfs的names 阅读全文

摘要：一、从主节点中查看要插入的文件在HDFS上的元信息 数据并没有存放在主节点中，主节点用于维护文件系统，存放元信息（文件的属性，路径，大小，在DN上的位置信息等） 二、在MYSQL中建好表用于插入数据 三、编写代码 java中要有Hadoop和数据库的依赖包 package hdfs; import 阅读全文

摘要：本文档介绍如何使用Sqoop工具实现文件存储HDFS和关系型数据库MySQL之间的双向数据迁移。 背景信息 Sqoop是一款开源的工具，主要用于在Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据 。既可以将一个关系型数据库（MySQL 、Oracle 、Postgres等）中的数据导 阅读全文

摘要：HDFS文件的系统中，是将文件分为多个block进行存储的，并将存储的block赋值多个副本，存储在不同的主机上，那么HDFS是怎么来维护这些数据的呢， 文件是存储在哪里？ 首先，hafs文件系统中，文件是存储在哪里。很多人会说，当然存储在磁盘上，如果真的只是存储存在磁盘上，那么从hdfs中读取文件 阅读全文

摘要：文章目录 5.1 HBase简介 什么是HBase BigTable 面向列的数据库 什么是非结构化数据存储 HBase在Hadoop生态中的地位 HBase与HDFS HBase使用场景 5.1 HBase简介 1 什么是HBase HBase是一个分布式的、面向列的开源数据库 HBase是Goo 阅读全文

摘要：一、HDFS基础架构 1、HDFS特点：水平扩展、高容错性、廉价硬件、开源生态系统 2、Hadoop生态圈 1）、分布式存储系统（HDFS），2）、资源管理框架（YARN），3）、批处理框架（MapReduce、Pig），4）、数据仓库（Hive），5）、NoSQL系统（HBase、Drill），6 阅读全文

摘要：我们学习hadoop，最常见的编程是编写mapreduce程序，但是，有时候我们也会利用java程序做一些常见的hdfs操作。比如删除一个目录，新建一个文件，从本地上传一个文件到hdfs等，甚至是追加内容到hdfs文件中。 这里介绍一些常见的hdfs操作的java示例，帮助我们加深对hdfs的理解。 阅读全文

摘要：Hadoop基础 HDFS的Java客户端编写 目录 补充：Eclipse自动补全快捷键一：导入jar包 （一）定义用户依赖库 （二）导入 hdfs基础jar包 （三）导入hdfs基础jar包所依赖的库 （四）导入公共jar包 （五）导入公共jar包所需lib库 （六）：创建类二：实现下载文件 （一 阅读全文

摘要：https://www.cnblogs.com/ywjfx/p/11352892.html 阅读全文