Apache Hadoop - 随笔分类 - 一泽涟漪

hadoop hdfs 数据迁移到其他集群

摘要：# hadoop fs -cat /srclist Warning: $HADOOP_HOME is deprecated. hdfs://sht-sgmhadoopcm-01:9011/jdk-6u45-linux-x64.bin hdfs://sht-sgmhadoopcm-01:9011/upload hdfs://sht-sgmhadoopcm-01:9011/oracle # h... 阅读全文

posted @ 2019-04-09 23:23 一泽涟漪阅读(1730) 评论(0) 推荐(0)

Hadoop 2.7.4 HDFS+YRAN HA删除datanode和nodemanager

摘要：当前集群 /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper（软连接） /usr/local/zookeeper-3.4.9 root 因sht-sgmhadoopdn-04节点异常，需要从当前集群剔除 1. 在ac 阅读全文

posted @ 2019-03-29 22:04 一泽涟漪阅读(653) 评论(0) 推荐(0)

nodemanager 无法启动报错“doesn't satisfy minimum allocations”

摘要：在启动nodemanager节点nodemanager时候报错 resourcemanager节点拒绝nodemanager接入此原因是因为在nodemanager节点资源不足导致角色无法启动，需要在nodemanager节点加入如下参数加以资源使用限制注意：报错并不能说明是因为内存问题还是因为阅读全文

posted @ 2019-03-29 15:50 一泽涟漪阅读(979) 评论(0) 推荐(0)

Hadoop 2.7.4 HDFS+YRAN HA增加datanode和nodemanager

摘要：当前集群 /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper（软连接） /usr/local/zookeeper-3.4.9 root 集群部署完成后增加datanode sht-sgmhadoopdn-04 部署参阅读全文

posted @ 2019-03-28 22:08 一泽涟漪阅读(709) 评论(0) 推荐(0)

hadoop HA学习

摘要：一 HDFS HA架构图二 HDFS HA组件 Active NameNode和Standby NameNode 在NameNode的HA方案中有两个不同状态的NameNode，分别为活跃态（Active）和备用状态（Standby），其中只有Active NameNode能对外提供服务，Stan 阅读全文

posted @ 2019-03-28 19:16 一泽涟漪阅读(905) 评论(0) 推荐(0)

Hadoop 2.7.4 HDFS+YRAN HA部署

摘要：实验环境 /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper（软连接） /usr/local/zookeeper-3.4.9 root 准备阶段软件 Apache Hadoop http://archive.apa 阅读全文

posted @ 2019-03-27 21:31 一泽涟漪阅读(555) 评论(0) 推荐(0)

Hadoop 2.7.3 完全分布式维护-动态增加datanode篇

摘要：原有环境 http://www.cnblogs.com/ilifeilong/p/7406944.html 现计划向集群新增一台datanode,如表格所示 1. 配置系统环境主机名,ssh互信,环境变量等 2. 修改namenode节点的slave文件,增加新节点信息 3. 在namenode节阅读全文

posted @ 2017-09-01 23:13 一泽涟漪阅读(2433) 评论(0) 推荐(0)

Hadoop 2.7.3 完全分布式维护-简单测试篇

摘要：1. 测试MapReduce Job 1.1 上传文件到hdfs文件系统 1.2 进行word count计算 1.3 查看wordcount结果 2. 测试hdfs分布式存储 2.1 上传测试文件 2.2 查看datanode副本信息阅读全文

posted @ 2017-09-01 11:13 一泽涟漪阅读(442) 评论(0) 推荐(0)

Hadoop 2.7.3 完全分布式维护-部署篇

摘要：测试环境如下 1. 软件准备 http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090f 阅读全文

posted @ 2017-08-21 22:04 一泽涟漪阅读(964) 评论(0) 推荐(0)

Hadoop介绍-4.Hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker

摘要：Hadoop是一个能够对大量数据进行分布式处理的软体框架，实现了Google的MapReduce编程模型和框架，能够把应用程式分割成许多的小的工作单元，并把这些单元放到任何集群节点上执行。在MapReduce中，一个准备提交执行的应用程式称为「作业（job）」，而从一个作业划分出得、运行于各个计阅读全文

posted @ 2017-08-20 22:31 一泽涟漪阅读(1382) 评论(0) 推荐(0)

Hadoop介绍-3.HDFS介绍和YARN原理介绍

摘要：一、 HDFS介绍： 1. Hadoop2介绍 Hadoop是Apache软件基金会旗下的一个分布式系统基础架构。Hadoop2的框架最核心的设计就是HDFS、MapReduce和YARN，为海量的数据提供了存储和计算。 HDFS主要是Hadoop的存储，用于海量数据的存储； MapReduce主要阅读全文

posted @ 2017-08-20 22:06 一泽涟漪阅读(1522) 评论(0) 推荐(0)

Hadoop介绍-2.分布式计算框架Hadoop原理及架构全解

摘要：Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。阅读全文

posted @ 2017-08-20 22:05 一泽涟漪阅读(13003) 评论(0) 推荐(0)

Hadoop介绍-1.基本原理

摘要：了解大数据首先，搞清楚hadoop在处理大数据的定位在哪里什么是大数据？为什么要处理大数据？数据量大（Volume）数据类别复杂（Variety）数据处理速度快（Velocity）数据真实性高（Veracity）合起来被称为4V。处理大数据是为了挖掘数据中的隐含价值如何处理大数据？阅读全文

posted @ 2017-08-20 21:57 一泽涟漪阅读(1145) 评论(0) 推荐(0)

随笔分类 - Apache Hadoop