随笔分类 -  Hadoop

Hadoop
MR程序本地调试，提交到集群运行
摘要：在本地调试，提交到集群上运行。 在本地程序中的Configuration中添加如下配置： Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://192.168.136.128:9000"); System 阅读全文
posted @ 2018-12-20 12:09 董秀才 阅读(918) 评论(0) 推荐(0)
mapreduce中文乱码，已解决
摘要：问题： mapreduce中文乱码 原因： 再用Hadoop处理数据的时候，发现输出的时候，总是会出现乱码，这是因为Hadoop在设计编码的时候，是写死的。默认是UTF-8，所以当你处理的文件编码格式不是为UTF-8的时候，比如为GBK格式，那么就会输出的时候就会出现乱码。 问题解决： 解决问题非常 阅读全文
posted @ 2018-11-28 16:25 董秀才 阅读(3605) 评论(1) 推荐(4)
hadoop的企业优化
摘要：前言： Mapreduce程序的效率的瓶颈在于两点： MapReduce优化方法 数据输入： （1）合并小文件：在执行任务前将小文件进行合并 （2）采用CombineTextInputformat来作为输入，解决输入端大量小文件的场景。将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给 阅读全文
posted @ 2018-10-09 13:37 董秀才 阅读(453) 评论(0) 推荐(0)
Hadoop集群动态服役新的数据节点&&退役数据节点
摘要：备注：新添的机器为hadoop05，现有hadoop01、hadoop02、hadoop03、hadoop04 环境准备： 1、先克隆一台和集群中一样的机器 2、修改机器ip和主机名称 3、删除原来的data文件和log日志的残存的文件 服役新节点的具体步骤： 1、在namenode的安装目录中的e 阅读全文
posted @ 2018-09-19 22:06 董秀才 阅读(1809) 评论(0) 推荐(0)
集群时间同步
摘要：1、查看本机是否安装了ntpdate服务，安装 时间同步软件 ​ yum install -y ntpdate yum install -y ntp 2、同步时间 ​ ntpdate time.nist.gov // 同步时间 ​ 如果同步不了 ​ ntpdate time.nuri.net // 阅读全文
posted @ 2018-09-18 21:36 董秀才 阅读(1770) 评论(0) 推荐(0)
hadoop的namenode故障处理方法
摘要：Namenode 故障后，可以采用如下两种方法恢复数据。 方法一：将 SecondaryNameNode 中数据拷贝到 namenode 存储数据的目录； 方法 二： 使用 -importCheckpoint 选项 启动 namenode 守 护 进 程 ， 从 而 将SecondaryNameNo 阅读全文
posted @ 2018-09-17 20:02 董秀才 阅读(2233) 评论(0) 推荐(0)
hadoop的checkpoint检查时间参数设置
摘要：1、通常情况下，SecondaryNameNode 每隔一小时执行一次。 在hdfs-default.xml文件中： 2、修改hdfs-site.xml文件 一分钟检查一次操作次数，当操作次数达到 1 百万时，SecondaryNameNode 执行一次。 阅读全文
posted @ 2018-09-17 19:42 董秀才 阅读(1229) 评论(0) 推荐(0)
hadoop配置历史服务器&&配置日志聚集
摘要：配置历史服务器 1、在mapred-site.xml中写入一下配置 2、查看启动历史服务器文件目录 在Hadoop安装目录中的sbin中有mr-jobhistory-daemon.sh命令 3、启动历史服务器 mr-jobhistory-daemon.sh start historyserver 4 阅读全文
posted @ 2018-09-17 19:36 董秀才 阅读(1956) 评论(0) 推荐(0)
hadoop_批量命令脚本&同步文件脚本
摘要：1、xcall.sh 批量命令脚本，例：xcall.sh jps ,查看hadoop101~ hadoop104的jps进程 注意：在执行命令的时候，若是提示没有这个命令，但是在本机又可以执行，记得在/usr/local/bin 下面创建一个符号连接指向那个命令所在目录。 2、xsync.sh 集群 阅读全文
posted @ 2018-09-15 10:25 董秀才 阅读(1431) 评论(0) 推荐(0)
无法外网访问VM中的hadoop yarn的8088端口
摘要：1、检查是否正确的启动了resourcemanager服务 若是没有启动，请检查yarn-site-xml配置 2、若是启动了 1、检查客户机和虚拟机之间是否能够相互ping通 2、检查虚拟机防火墙是否关闭 3、排查 1、首先，各个虚拟机和客户端之前都能ping通，虚拟机都能上外网，说明网络没有问题 阅读全文
posted @ 2018-09-13 17:37 董秀才 阅读(3707) 评论(0) 推荐(0)
查看centos操作系统、java_jdk、hadoop位数
摘要：1、centos操作系统位数： file /bin/ls 此为64位 2、java jdk 位数： java -version 这个是64为的，若是没有，则默认为32位 3、hadoop位数： 进入hadoop安装目录的lib/native下面，查看libhadoop.so.1.0.0 file l 阅读全文
posted @ 2018-09-12 21:11 董秀才 阅读(973) 评论(0) 推荐(0)
hadoop的namenode启动失败
摘要：1、jps发现namenode启动失败 每次开机都要重新格式化一下namenode才可以 其实问题出现自tmp文件上，因为每次开机就会被清空，所以现在我们配置一个tmp文件目录。 如果之前没有配置过，默认是在 /tmp 根目录下的tmp文件下，我的tmp没啥重要文件所以在配置之前，把里面的文件清空了 阅读全文
posted @ 2018-09-12 17:33 董秀才 阅读(5449) 评论(0) 推荐(0)
hadoop_完全分布式配置
摘要：注：此文章所写内容完全在虚拟机配置，系统：centos，jdk和hadoop已经安装完成所配集群包括hadoop01,hadoop02,hadoop03,hadoop04四台，ip分别为：192.168.80.101，192.168.80.102，192.168.80.103，192.168.80. 阅读全文
posted @ 2018-08-18 10:09 董秀才 阅读(640) 评论(0) 推荐(0)
新建hadoop用户以及用户组，给予sudo权限
摘要：1、首先新建用户，adduser命令 sudo adduser hadoop passwd hadoop 输入密码之后，一路 y 确定。 2、添加用户组 在创建hadoop用户的同时也创建了hadoop用户组，下面我们把hadoop用户加入到hadoop用户组下面 sudo usermod -a - 阅读全文
posted @ 2018-08-14 08:59 董秀才 阅读(10496) 评论(0) 推荐(0)
Hadoop在启动时的坑——start-all.sh报错
摘要：1、若你用的Linux系统是CentOS的话，这是一个坑： 它会提示你JAVA_HOME找不到，现在去修改文件: 这是CentOS的一个大坑，手动配置JAVA_HOME环境变量。 2、启动后无NameNode进程 如果在启动Hadoop，start-all.sh之后一切正常。但是Jps查看进程时发现 阅读全文
posted @ 2018-08-13 17:50 董秀才 阅读(12651) 评论(2) 推荐(1)
Hadoop的安装
摘要：1、安装使用hadoop之前要首先安装java JDK，若无安装JDk，请先安装JDK ：https://www.cnblogs.com/dongxiucai/p/9391841.html 2、安装Hadoop 1、下载tar包 hadoop-2.7.3.tar.gz 2、tar开 tar -xzv 阅读全文
posted @ 2018-08-10 22:03 董秀才 阅读(244) 评论(0) 推荐(0)