Hadoop - 随笔分类 - 梅花GG

【Hadoop 分布式部署十一: NameNode HA 自动故障转移】

摘要：问题描述: 上一篇就是NameNode 的HA 部署完成，但是存在问题，问题是如果主NameNode的节点宕机了，还是需要人工去使用命令来切换NameNode的Acitve 这样很不方便，所以这篇学习笔记就是记录如何解决故障转移的启动以后每个都是Standby，选举一个为Active 监控阅读全文

posted @ 2018-09-30 23:45 梅花GG 阅读(1073) 评论(0) 推荐(0)

【Hadoop 分布式部署十：配置HDFS 的HA、启动HA中的各个守护进程】

摘要：官方参考配置地址：http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 一、在Hadoop-senior.zuoyan.com 的主机上首先阅读全文

posted @ 2018-09-30 22:20 梅花GG 阅读(1857) 评论(0) 推荐(0)

【Hadoop 分布式部署九：分布式协作框架Zookeeper架构分布式安装部署】

摘要：1.首先将运行在本地上的 zookeeper 给停止掉 2.到/opt/softwares 目录下将 zookeeper解压到 /opt/app 目录下命令: tar -zxvf zookeeper-3.4.5.tar.gz -C /opt/app/ 3.修改配置文件将文件 zoo_sampl 阅读全文

posted @ 2018-09-30 13:09 梅花GG 阅读(199) 评论(0) 推荐(0)

【Hadoop 分布式部署八：分布式协作框架Zookeeper架构功能讲解及本地模式安装部署和命令使用】

摘要：What is Zookeeper 是一个开源的分布式的，为分布式应用提供协作服务的Apache项目提供一个简单的原语集合，以便与分布式应用可以在他之上构建更高层次的同步服务设计非常简单易于编程，他使用的是类似于文件系统那样的树形数据结构。目的就是将分布式服务不再需要有协作冲突而另外实现协作服阅读全文

posted @ 2018-09-30 11:34 梅花GG 阅读(201) 评论(0) 推荐(0)

【Hadoop 分布式部署七：使用ntp配置内网中集群机器时间同步】

摘要：集群的时间要同步，如果时间不同步，会出现很多问题。找一台机器做时间服务器所有的机器与这台机器的时间进行定时的同步比如，每日十分钟同步一次我们这里使用 hadoop-senior.zuoyan.com 这台主机作为时间服务器首先检查一下主机是否安装ntp服务使用命令： rpm -qa | 阅读全文

posted @ 2018-09-30 10:42 梅花GG 阅读(277) 评论(0) 推荐(0)

【Hadoop 分布式部署六：环境问题解决和集群基准测试】

摘要：环境问题：出现Temporary failure in name resolutionp-senior-zuoyan.com 的原因有很多，主要就是主机没有解析到，那就在hadoop的slaves 配置文件中重新写一下主机名如果还是没有成功启动，就将slaves 文件删除，然后重新创建，可能阅读全文

posted @ 2018-09-30 09:54 梅花GG 阅读(163) 评论(0) 推荐(0)

【Hadoop 分布式部署五：分布式部署之分发、基本测试及监控】

摘要：1.对 hadoop 进行格式化到 /opt/app/hadoop-2.5.0 目录下执行命令： bin/hdfs namenode -format 执行的效果图如下 ( 下图成功格式化不要没事格式化 ) 2.启动dfs 执行命令(在 /opt/app/hadoop-2.5.0/目录下): 阅读全文

posted @ 2018-09-29 21:41 梅花GG 阅读(213) 评论(0) 推荐(0)

【Hadoop 分布式部署四：配置Hadoop 2.x 中主节点（NN和RM）到从节点的SSH无密码登录】

摘要：******************* 一定要使这三台机器的用户名相同，安装目录相同 ************* SSH 无密钥登录的简单介绍（之前再搭建本地伪分布式的时候，就生成了，现在这三台机器的公钥私钥都是一样的，所以下面这个不用配置）单机操作：生成密钥：命令 ssh-keygen -t 阅读全文

posted @ 2018-09-29 20:00 梅花GG 阅读(382) 评论(0) 推荐(0)

【Hadoop 分布式部署三：基于Hadoop 2.x 伪分布式部署进行修改配置文件】

摘要：1.规划好哪些服务运行在那个服务器上需要配置的配置文件 2. 修改配置文件，设置服务运行机器节点首先在 hadoop-senior 的这台主机上进行解压 hadoop2.5 按照伪分布式的配置文件来进行配置使用命令：tar -zxvf hadoop-2.5.0.tar.gz -C /op 阅读全文

posted @ 2018-09-29 16:36 梅花GG 阅读(448) 评论(0) 推荐(0)

【Hadoop 分布式部署二：分布式环境预备工作（主机名 IP地址等设置）】

摘要：1.首先使用工具连接上这三台虚拟主机 2.配置主机名切换到 root 用户第一种方式可以使用命令 hostname [要更改的主机名] 但是这种更改主机名的方式是一次性的，下次机器重启，这个主机名就会恢复到原来第二种方式： vim /etc/sysconfig/network (这个就是阅读全文

posted @ 2018-09-29 15:10 梅花GG 阅读(834) 评论(0) 推荐(0)

【Hadoop 分布式部署一：分布式部署准备虚拟机】

摘要：一、将IP配置为静态按照下面的操作将IP配置为静态IP 这个静态的IP地址是你自己设置的，只要符合虚拟机的IP段就可以。最后点击 Apply 需要root密码将网络断开（在网络图标左键 Disconnect ）重新连接检查IP是否改变了如果IP地址已经改变了，那就说明网络配置成功更阅读全文

posted @ 2018-09-29 14:25 梅花GG 阅读(289) 评论(0) 推荐(0)

使用Java Api 操作HDFS

摘要：如题我就是一个标题党就是使用JavaApi操作HDFS，使用的是MAVEN，操作的环境是Linux 首先要配置好Maven环境，我使用的是已经有的仓库，如果你下载的jar包速度慢，可以改变Maven 下载jar包的镜像站改为阿里云。贴一下 pom.xml 使用到的jar包然后就是操作HD 阅读全文

posted @ 2018-09-20 19:33 梅花GG 阅读(2040) 评论(0) 推荐(0)

配置SSH无密码登录

摘要：首先进入目录 : /home/zuoyan/.ssh 在～的 .ssh 下使用命令生成密钥敲4下回车然后将公钥配置到需要的机器上，复制的目标机器最后是用户名和当前机器的用户名一致，这样可以减少配置的麻烦！使用命令：然后进行测试一下使用命令: 目录已经变换了，就证明成功了！下面的图片中的阅读全文

posted @ 2018-03-08 09:49 梅花GG 阅读(202) 评论(0) 推荐(0)

HDFS 的垃圾回收配置

摘要：HDFS的垃圾回收的默认配置的 0，也就是说，如果你不小心误删除了某样东西，那么这个操作是不可恢复的。但是如果配置了HDFS的垃圾回收机制，那么删除的东西就可以在垃圾箱中保存一段你配置的时间，等时间过了在执行删除操作配置文件所在位置 :hadoop安装目录/etc/hadoop/core-si 阅读全文

posted @ 2018-03-08 09:19 梅花GG 阅读(1121) 评论(0) 推荐(0)

Yarn 的日志聚集功能配置使用

摘要：需要 hadoop 的安装目录/etc/hadoop/yarn-site.xml 中进行配置配置内容配置好了之后需要重新启动 nodemanager resourcemanager historyserver 才可以生效重新启动之后，在Hadoop上面使用yarn 运行wordcount程序阅读全文

posted @ 2018-03-08 09:09 梅花GG 阅读(2299) 评论(0) 推荐(0)

Mapreduce 历史服务配置启动查看

摘要：如果没有进行配置的话，那个History是不可以进行点击的，点击进去就会报错！所以需要进行配置一下使用命令启动HistoryServer 就可以查看任务执行的进度了命令: 执行之后的效果如下图然后在打开刚才的界面就可以查看历史记录了阅读全文

posted @ 2018-03-08 08:48 梅花GG 阅读(707) 评论(0) 推荐(0)

Hadoop【单机安装-测试程序WordCount】

摘要：Hadoop程序说明，就是创建一个文本文件，然后统计这个文本文件中单词出现过多少次！（MapReduce 运行在本地启动JVM ）第一步创建需要的文件目录，然后进入该文件中进行编辑 1.1 1.2 使用命令 vi wc.input 进入编辑编辑如下内容第二步运行WordCount程序，阅读全文

posted @ 2018-03-07 16:08 梅花GG 阅读(579) 评论(0) 推荐(0)

【一】、搭建Hadoop环境----本地、伪分布式

摘要：## 前期准备 1.搭建Hadoop环境需要Java的开发环境，所以需要先在LInux上安装java 2.将 jdk1.7.tar.gz 和hadoop 通过工具上传到Linux服务器上 3.解压jdk 命令:tar -zxvf jdk-xxxx-xxx.tar.gz -C 目标文件目录中 4.使用阅读全文

posted @ 2018-01-27 13:24 梅花GG 阅读(423) 评论(0) 推荐(0)

梅花GG

随笔分类 - Hadoop

公告