Hadoop - 随笔分类 - kpwong

Hadoop 大数据端口汇总

摘要：组件端口及说明 CDH 7180： Cloudera Manager WebUI端口7182： Cloudera Manager Server 与 Agent 通讯端口 Hadoop 50070：HDFS WEB UI端口8020 ：高可用的HDFS RPC端口9000 ：非高可用的HDFS R 阅读全文

posted @ 2021-04-08 16:03 kpwong 阅读(383) 评论(0) 推荐(0)

Hadoop HA一键启动，一键关闭脚本

摘要：本脚本实现一个简单的三台机器分布式集群环境下的Hadoop一键启动。 1：在目录 /usr/local/bin下 touch xhp.sh 2: chmod 777 xhp.sh 3: 编辑 xhp.sh ZK:Zookeeper ZKFC:Zookeeper FailoverController 阅读全文

posted @ 2020-11-07 12:54 kpwong 阅读(782) 评论(0) 推荐(1)

journalnode集群启动脚本

摘要：1：在目录 /usr/local/bin下 touch xjn.sh 2: chmod 777 xjn.sh 3: 编辑 xjn.sh #判断用户是否传参 if [ $# -ne 1 ];then echo "无效参数，用法为: $0 {start|stop}" exit fi #获取用户输入的命令阅读全文

posted @ 2020-11-07 11:02 kpwong 阅读(702) 评论(0) 推荐(0)

Hadoop hdfs 访问权限问题

摘要：访问DFS时候。出现： Permission denied: user=dr.who, access=READ_EXECUTE, inode="/user":root:supergroup:drwx-wx-wx 问题. 二、分析在浏览器查看目录和删除目录及文件，为什么会是dr.who，dr.who 阅读全文

posted @ 2020-10-24 14:10 kpwong 阅读(5766) 评论(0) 推荐(0)

Hadoop WordCount Example For Mapper Reducer

摘要：Pom文件添加： <dependencies> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-simple</artifactId> <version>1.7.25</version> <scope>compile</scop 阅读全文

posted @ 2020-10-15 20:59 kpwong 阅读(136) 评论(0) 推荐(0)

hadoop 再次格式化文件系统 bin/hdfs namenode -format

摘要：hadoop 系统第一次格式化系统运行 bin/hdfs namenode -format 完成后，运行一段时间。想重新格式化系统。需要注意。第一步：关停hadoop进程.NameNode,DataNode. 第二步：手动删除Data,logs目录。第三步：运行 bin/hdfs namenod 阅读全文

posted @ 2020-10-11 08:43 kpwong 阅读(3554) 评论(0) 推荐(0)

Hadoop 报 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 解决方案

摘要：运行 hadoop命令时候.出现错误。 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 阅读全文

posted @ 2020-10-11 08:05 kpwong 阅读(541) 评论(0) 推荐(0)

Hadoop集群环境搭建第六步：安装hadoop

摘要：1:安装hadoop到hadp201机器上 tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/ 2：编辑hadoop环境变量. export HADOOP_HOME=/opt/module/hadoop-2.7.2 export PATH=$PATH:$HAD 阅读全文

posted @ 2020-10-10 18:06 kpwong 阅读(101) 评论(0) 推荐(0)

Hadoop集群环境搭建第五步：安装zookeeper

摘要：阅读全文

posted @ 2020-10-10 18:05 kpwong 阅读(77) 评论(0) 推荐(0)

Hadoop集群环境搭建第四步：添加xcall xsync 集群脚本工(只需要在hadoop201上存放即可)

摘要：参考 xcall 集群脚本参考 xsync 集群同步脚本阅读全文

posted @ 2020-10-10 18:00 kpwong 阅读(141) 评论(0) 推荐(0)

Hadoop集群环境搭建第三步安装JDK1.8

摘要：在hadoop201 机器上创建 /opt/module , /opt/software 目录拷贝jdk 压缩文件包到 /opt/software.解压安装JDK1.8 tar -C 指定安装目录为/opt/module tar -zxvf jdk-8u144-linux-x64.tar.gz 阅读全文

posted @ 2020-10-10 17:09 kpwong 阅读(250) 评论(0) 推荐(0)

Hadoop集群环境搭建第二步：防火墙关闭，hostname修改，免密访问

摘要：1: 关闭防火墙(Centos6.5).集群中每台机器都要关闭 //临时关闭 service iptables stop //禁止开机启动 chkconfig iptables off 2.hostname 修改. vim /etc/sysconfig/networkvim /etc/hostssy 阅读全文

posted @ 2020-10-10 16:49 kpwong 阅读(799) 评论(0) 推荐(0)

Hadoop集群环境搭建第一步： VMWare 虚拟机中Centos6 系统静态IP配置

摘要：方法一：图形界面修改: 1：VMWare 打开Centos虚拟机镜像文件。重新命名为hadoop202.右键hadoop202虚拟机属性.改网络连接方式为桥接模式.点击高级按钮。在弹出的对话框中，重新生成新的Mac地址。记住这个MAC地址。 00:50:56:22:76:52 2：启动虚拟机。使用阅读全文

posted @ 2020-10-10 01:04 kpwong 阅读(273) 评论(0) 推荐(0)

随笔分类 - Hadoop

公告