随笔分类 -  Hadoop

上一页 1 2
Mac系统VMware Fusion在运行CentOS7虚拟机安装vmware tools时遇到的问题及解决方法
摘要：##1. 在编译vmware-install.pl文件的时候遇到以下问题 -bash: ./vmware-install.pl:/usr/bin/perl:bad interpreter:No such file or directory ###1.1 缺少perl,进行安装 yum install 阅读全文
posted @ 2022-02-20 17:00 递茶大户 阅读(637) 评论(0) 推荐(0)
zookeeper的下载安装与启动
摘要：#1. 下载zookeeper http://archive.apache.org/dist/zookeeper/ #2. 将下载好的安装包解压至/usr/local/ tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/ #3. 更名(方便配置及使用) 阅读全文
posted @ 2022-02-18 10:53 递茶大户 阅读(214) 评论(0) 推荐(0)
HDFS的shell命令
摘要：#启动hdfs集群 #访问HDFS的命令 ##1. 创建目录 hdfs dfs -mkdir (-p) /目录 hdfs dfs -mkdir /data hdfs dfs -mkdir -p /a/b/c/d/e/f/g ##2. 上传指令 ###格式：hdfs dfs -put /本地文件 /分 阅读全文
posted @ 2022-02-16 22:04 递茶大户 阅读(723) 评论(0) 推荐(0)
配置静态IP
摘要：#为了确保NAT模式，需要配置静态IP ##1. 打开虚拟机->编辑->虚拟网络编辑器 ##2.选择NAT模式->NAT设置，从NAT设置可以查看虚拟机的子网IP、子网掩码和网关 ##3.打开网络配置文件ifcfg-ens33 vim /etc/sysconfig/network-scripts/i 阅读全文
posted @ 2022-02-15 00:22 递茶大户 阅读(184) 评论(0) 推荐(0)
修改主机名
摘要：#1. 输入以下指令 hostnamectl set-hostname sam01 #2. 或者打开主机名文件进行修改 vim /etc/hostname 阅读全文
posted @ 2022-02-14 23:38 递茶大户 阅读(365) 评论(0) 推荐(0)
格式化集群与启动集群
摘要：#1.格式化集群 hdfs namenode -format ##1.1格式化集群后将会在Hadoop目录下生成一个tmp文件夹 #2.启动集群 ##2.2启动集群 ###2.2.1 在启动集群之前，首先输入jps指令，查看进程 ###2.2.2 启动hdfs的脚本 ####hadoop-daemo 阅读全文
posted @ 2022-02-14 21:52 递茶大户 阅读(285) 评论(0) 推荐(0)
Hadoop完全分布式的配置
摘要：#选取机器sam01作为主节点，并进行分布式文件的配置 ##1.进入Hadoop配置文件路径/usr/local/hadoop/etc/hadoop(这里我把Hadoop安装在/usr/local目录下) ##2.配置core-site.xml文件 <configuration> <!-- hdfs 阅读全文
posted @ 2022-02-14 15:11 递茶大户 阅读(227) 评论(0) 推荐(0)
Hadoop的安装与配置
摘要：#1. 将Hadoop安装包解压至/usr/local tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/ #2. 进入/usr/local目录，将hadoop文件名改为hadoop（方便配置环境变量） mv hadoop-2.7.6/ hadoop #3. 打 阅读全文
posted @ 2022-02-13 21:45 递茶大户 阅读(229) 评论(0) 推荐(0)
集群中的时间同步
摘要：选择集群中的一台机器作为时间服务器，这里选择机器sam01 安装ntp yum install ntp -y 查看ntp状态,可看到服务处于关闭状态 systemctl status ntpd 配置ntp.conf文件信息 vim /etc/ntp.conf 开启ntp服务 systemctl st 阅读全文
posted @ 2022-02-13 21:45 递茶大户 阅读(192) 评论(0) 推荐(0)
集群文件分发
摘要：#主机sam01配置好的文件分发给另外两台主机sam02和sam03 配置文件/etc/hosts,添加三台机器的ip与hostname的映射 192.168.88.129 sam01 192.168.88.130 sam02 192.168.88.132 sam03 文件分发 scp /etc/h 阅读全文
posted @ 2022-02-13 21:44 递茶大户 阅读(60) 评论(0) 推荐(0)
免密登录认证
摘要：在免密登录设置之前，主机之间互相登录需要密码，如图 生成公私钥,并一路回车 ssh-keygen -t rsa 把各自的公钥发送给其余主机 ssh-copy-id sam02 公钥发送完毕后，主机之间互相登录不再需要密码 ssh sam02 阅读全文
posted @ 2022-02-13 21:44 递茶大户 阅读(67) 评论(0) 推荐(0)
CentOS虚拟机关闭防火墙
摘要：关闭防火墙 systemctl stop firewalld 关闭防火墙开机自启动 systemctl disable firewalld 关闭安全机制，将selinux设置为disabled vi /etc/selinux/config 验证防火墙是否关闭 systemctl status fir 阅读全文
posted @ 2022-02-11 11:27 递茶大户 阅读(467) 评论(0) 推荐(0)
CentOS卸载自带的JDK
摘要：一般在配置JDK之前要卸载CentOS自带的openjdk,接下来演示如何卸载自带的openjdk 进入root模式 查看jdk是否已经安装jdk rpm -qa | grep jdk 3. 卸载openjdk yum -y remove copy-jdk-configs.noarch 至此，Cen 阅读全文
posted @ 2022-02-11 00:18 递茶大户 阅读(1239) 评论(0) 推荐(0)
CentOS更新VMware Tools及设置共享文件夹
摘要：CentOS设置共享文件夹 设置共享文件夹 点击虚拟机->设置 2. 打开虚拟机设置->选项->共享文件夹->总是启用->添加 3. 点击下一步创建主机路径并命名 4. 启用此共享 5. 此时弹窗出现提示，无法更新运行时文件夹共享状态，是因为还没有在虚拟机中安装VMWare Tool 安装VMWar 阅读全文
posted @ 2022-02-10 21:26 递茶大户 阅读(1450) 评论(0) 推荐(0)

上一页 1 2