随笔分类 -  hadoop

Centos7 安装tomcat
摘要：1.解压tomcat tar -xzvf apache-tomcat-8.5.57.tar.gz 2.开启8080端口 /sbin/iptables -I INPUT -p tcp --dport 8080 -j ACCEPT 3.保存端口 iptables-save 4.启动tomcat 进入到 阅读全文
posted @ 2021-12-27 16:14 蔡地像徐坤 阅读(130) 评论(0) 推荐(0)
虚拟机时间同步
摘要：1.选择时区 tzselect tzselect Asia 5 China 9 Beijing Time 1 Yes 1 2.设置TZ环境变量 将上图圈起来的复制到环境变量中 vi /etc/profile 3.时间同步协议NTP 安装ntp: yum install -y ntp master作为 阅读全文
posted @ 2021-12-27 15:53 蔡地像徐坤 阅读(489) 评论(0) 推荐(0)
虚拟机ping不通百度的解决方案
摘要：ping不通百度，解决方案： vi /etc/sysconfig/network-scripts/ifcfg-ens33 添加一行： DNS=114.114.114.114 重启网络即可： service network restart 希望能 ping 外网修改 /etc/resolv.conf 阅读全文
posted @ 2021-12-27 15:36 蔡地像徐坤 阅读(2219) 评论(0) 推荐(0)
HA Hadoop完全分布式环境部署
摘要：HA Hadoop完全分布式环境部署 1、背景知识 HDFS HA通常由两个NameNode组成，一个处于Active状态，另一个处于Standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能 阅读全文
posted @ 2021-12-27 14:41 蔡地像徐坤 阅读(381) 评论(0) 推荐(0)
Hadoop单节点伪分布式环境部署
摘要：Hadoop单节点伪分布环境部署 1、背景知识 2、使用软件及其版本 环境 虚拟机:VirtualBox 6.0.24 r139119 Linux:CentOS 7 Windows:Windows10 软件 JDK:Jdk1.8_131 Hadoop:Hadoop-2.6.0-cdh5.7.0 工具 阅读全文
posted @ 2021-12-27 14:29 蔡地像徐坤 阅读(169) 评论(0) 推荐(0)
Hadoop完全分布式环境部署
摘要：Hadoop完全分布式环境部署 1、背景知识 2、使用软件及其版本 环境 虚拟机:VirtualBox 6.0.24 r139119 Linux:CentOS 7 Windows:Windows10 软件 JDK:Jdk1.8_131 Hadoop:Hadoop-2.6.0-cdh5.7.0 工具 阅读全文
posted @ 2021-12-27 13:56 蔡地像徐坤 阅读(197) 评论(0) 推荐(0)
ssh登录 The authenticity of host 192.168.0.xxx can't be established.　的问题
摘要：今天又重新配下虚拟机，我一直有个疑问，设置了ip和主机名的映射关系（vi /etc/hosts）,到ssh免密还是会出现这个 看了别人的博客：https://www.cnblogs.com/huanghongbo/p/6254400.html 解决方式如下： 修改/etc/ssh/ssh_confi 阅读全文
posted @ 2021-12-10 23:06 蔡地像徐坤 阅读(277) 评论(0) 推荐(0)
大数据配置hadoop笔记
摘要：1.修改主机名hostnamectl set-hostname masterbash 2.替换本地源pkill -9 yum //杀掉yum进程cd /etc/yum.repos.dcat bigdata.repo //查看本地源rm -rf * //删除wget http://172.19.47. 阅读全文
posted @ 2021-10-20 18:14 蔡地像徐坤 阅读(182) 评论(0) 推荐(0)
java.util.zip.ZipException: error in opening zip file异常
摘要：今天执行mr时候出现了这个异常，我感到莫名其妙 原来我没有实例化解析工具类 阅读全文
posted @ 2021-10-17 14:45 蔡地像徐坤 阅读(513) 评论(0) 推荐(0)
MapReduce练习-----学生成绩相关题目
摘要：1.统计需求 1、统计每门课程的参考人数和课程平均分2、统计每门课程参考学生的平均分，并且按课程存入不同的结果文件，要求一门课程一个结果文件，并且按平均分从高到低排序，分数保留一位小数。3、求出每门课程参考学生成绩最高的学生的信息：课程，姓名和平均分。 数据及字段说明： computer,huang 阅读全文
posted @ 2021-09-24 18:06 蔡地像徐坤 阅读(834) 评论(0) 推荐(0)
MR框架中两大组件
摘要：MR框架-->Combiner组件和Partitioner组件 认识Combiner组件和Partitioner组件 实例场景 1.Combiner组件： 对比：不使用Combiner，那么所有的结果都是reduce完成，效率相对低下 为了进一步提升运算速度，使用Combiner组件，减少MapTa 阅读全文
posted @ 2021-09-02 14:10 蔡地像徐坤 阅读(131) 评论(0) 推荐(0)
pywin32安装(Python调用win api必看)
摘要：开始之前，小编强烈建议小伙伴使用python3。 安装python3时，把pip勾选上，这时有pip我们就能很简单的安装上pywin32 打开cmd命令提示符，如图。 pip install pywin32 此时会开始联网下载。 2 下载完成之后安装，安装完成之后如图。 看到success这样的字眼 阅读全文
posted @ 2020-11-29 18:36 蔡地像徐坤 阅读(3019) 评论(0) 推荐(0)
虚拟机hadoop集群启动时DataNode进程缺失
摘要：虚拟机hadoop集群启动时DataNode进程缺失 1.出现问题: 在Linux命令窗口中输入Jps查询hadoop启动项目时缺少DataNode进程; 2.问题原因:使用格式化命令之后又再次进行格式化,导致namenodeDatas文件序列号不一致使之启动失败 3.解决方案: 删除三台虚拟机中/ 阅读全文
posted @ 2020-11-28 16:00 蔡地像徐坤 阅读(2519) 评论(0) 推荐(0)
linux安装mysql数据库
摘要：1.查看有无安装过mysqlrpm -qa|grep mysql 2.查看有无安装包yum list mysql* 3.虚拟机关掉eth0，联网后，安装mysql服务yum install mysql-serveryum install mysql-devel 4.开启eth0，Xshell连接后， 阅读全文
posted @ 2020-11-17 10:45 蔡地像徐坤 阅读(166) 评论(0) 推荐(0)
yarn环境搭建
摘要：1.在hadoop的安装目录etc/hadoop/下修改配置文件:yarn-site.xml<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.a 阅读全文
posted @ 2020-11-13 00:40 蔡地像徐坤 阅读(379) 评论(0) 推荐(0)
JobHistory的使用
摘要：开启jobhistory功能步骤:1.修改etc/hadoop/mapred-site.xml文件<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <pro 阅读全文
posted @ 2020-11-13 00:35 蔡地像徐坤 阅读(486) 评论(0) 推荐(0)
hadoop完全分布式集群搭建
摘要：准备工作：1.三台主机，主机名分别是master、slave01、slave022.修改主机名，vi /etc/sysconfig/network，重启3.修改虚拟机的网络设备选项，仅主机模式4.切换会普通用户，修改ifcfg-eth0,sudo vi /etc/sysconfig/network- 阅读全文
posted @ 2020-11-05 16:37 蔡地像徐坤 阅读(121) 评论(0) 推荐(0)
hadoop完全分布式_配置ssh无密码访问
摘要：配置ssh无密码访问生成公钥密钥对在每个节点上分别执行：命令行输入：ssh-keygen -t rsa一直按回车直到生成结束执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub其中前者为私钥，后者为公钥在主节点上执行：命令行输入：cp id_rs 阅读全文
posted @ 2020-11-05 16:15 蔡地像徐坤 阅读(128) 评论(0) 推荐(0)
搭建Hadoop集群框架
摘要：准备工作：1.root用户下添加用户，设置密码2.修改主机名，vi /etc/sysconfig/network，重启3.修改虚拟机的网络设备选项，仅主机模式4.切换到root用户，添加权限，vi /etc/sudoers, root ALL=(ALL) ALL5.切换会普通用户，修改ifcfg-e 阅读全文
posted @ 2020-10-29 19:23 蔡地像徐坤 阅读(145) 评论(0) 推荐(0)