• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
一泽涟漪
时光荏苒 白驹过隙
博客园    首页    新随笔    联系   管理    订阅  订阅

随笔分类 -  Apache Hadoop

hadoop hdfs 数据迁移到其他集群

摘要:# hadoop fs -cat /srclist Warning: $HADOOP_HOME is deprecated. hdfs://sht-sgmhadoopcm-01:9011/jdk-6u45-linux-x64.bin hdfs://sht-sgmhadoopcm-01:9011/upload hdfs://sht-sgmhadoopcm-01:9011/oracle # h... 阅读全文
posted @ 2019-04-09 23:23 一泽涟漪 阅读(1730) 评论(0) 推荐(0)
Hadoop 2.7.4 HDFS+YRAN HA删除datanode和nodemanager

摘要:当前集群 /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper(软连接) /usr/local/zookeeper-3.4.9 root 因sht-sgmhadoopdn-04节点异常,需要从当前集群剔除 1. 在ac 阅读全文
posted @ 2019-03-29 22:04 一泽涟漪 阅读(653) 评论(0) 推荐(0)
nodemanager 无法启动报错“doesn't satisfy minimum allocations”

摘要:在启动nodemanager节点nodemanager时候报错 resourcemanager节点拒绝nodemanager接入 此原因是因为在nodemanager节点资源不足导致角色无法启动,需要在nodemanager节点加入如下参数加以资源使用限制 注意:报错并不能说明是因为内存问题还是因为 阅读全文
posted @ 2019-03-29 15:50 一泽涟漪 阅读(979) 评论(0) 推荐(0)
Hadoop 2.7.4 HDFS+YRAN HA增加datanode和nodemanager

摘要:当前集群 /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper(软连接) /usr/local/zookeeper-3.4.9 root 集群部署完成后增加datanode sht-sgmhadoopdn-04 部署参 阅读全文
posted @ 2019-03-28 22:08 一泽涟漪 阅读(709) 评论(0) 推荐(0)
hadoop HA学习

摘要:一 HDFS HA架构图 二 HDFS HA组件 Active NameNode和Standby NameNode 在NameNode的HA方案中有两个不同状态的NameNode,分别为活跃态(Active)和备用状态(Standby),其中只有Active NameNode能对外提供服务,Stan 阅读全文
posted @ 2019-03-28 19:16 一泽涟漪 阅读(905) 评论(0) 推荐(0)
Hadoop 2.7.4 HDFS+YRAN HA部署

摘要:实验环境 /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper(软连接) /usr/local/zookeeper-3.4.9 root 准备阶段 软件 Apache Hadoop http://archive.apa 阅读全文
posted @ 2019-03-27 21:31 一泽涟漪 阅读(555) 评论(0) 推荐(0)
Hadoop 2.7.3 完全分布式维护-动态增加datanode篇

摘要:原有环境 http://www.cnblogs.com/ilifeilong/p/7406944.html 现计划向集群新增一台datanode,如表格所示 1. 配置系统环境 主机名,ssh互信,环境变量等 2. 修改namenode节点的slave文件,增加新节点信息 3. 在namenode节 阅读全文
posted @ 2017-09-01 23:13 一泽涟漪 阅读(2433) 评论(0) 推荐(0)
Hadoop 2.7.3 完全分布式维护-简单测试篇

摘要:1. 测试MapReduce Job 1.1 上传文件到hdfs文件系统 1.2 进行word count计算 1.3 查看wordcount结果 2. 测试hdfs分布式存储 2.1 上传测试文件 2.2 查看datanode副本信息 阅读全文
posted @ 2017-09-01 11:13 一泽涟漪 阅读(442) 评论(0) 推荐(0)
Hadoop 2.7.3 完全分布式维护-部署篇

摘要:测试环境如下 1. 软件准备 http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090f 阅读全文
posted @ 2017-08-21 22:04 一泽涟漪 阅读(964) 评论(0) 推荐(0)
Hadoop介绍-4.Hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker

摘要:Hadoop是一个能够对大量数据进行分布式处理的软体框架,实现了Google的MapReduce编程模型和框架,能够把应用程式分割成许多的 小的工作单元,并把这些单元放到任何集群节点上执行。在MapReduce中,一个准备提交执行的应用程式称为「作业(job)」,而从一个作业划分出 得、运行于各个计 阅读全文
posted @ 2017-08-20 22:31 一泽涟漪 阅读(1382) 评论(0) 推荐(0)
Hadoop介绍-3.HDFS介绍和YARN原理介绍

摘要:一、 HDFS介绍: 1. Hadoop2介绍 Hadoop是Apache软件基金会旗下的一个分布式系统基础架构。Hadoop2的框架最核心的设计就是HDFS、MapReduce和YARN,为海量的数据提供了存储和计算。 HDFS主要是Hadoop的存储,用于海量数据的存储; MapReduce主要 阅读全文
posted @ 2017-08-20 22:06 一泽涟漪 阅读(1522) 评论(0) 推荐(0)
Hadoop介绍-2.分布式计算框架Hadoop原理及架构全解

摘要:Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。 阅读全文
posted @ 2017-08-20 22:05 一泽涟漪 阅读(13004) 评论(0) 推荐(0)
Hadoop介绍-1.基本原理

摘要:了解大数据 首先,搞清楚hadoop在处理大数据的定位在哪里 什么是大数据?为什么要处理大数据? 数据量大(Volume) 数据类别复杂(Variety) 数据处理速度快(Velocity) 数据真实性高(Veracity) 合起来被称为4V。 处理大数据是为了挖掘数据中的隐含价值 如何处理大数据? 阅读全文
posted @ 2017-08-20 21:57 一泽涟漪 阅读(1145) 评论(0) 推荐(0)

博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3