随笔分类 -  Hadoop

Kafka 集群群起/关闭脚本
摘要：vi kafka.sh #!/bin/bash case $1 in "start"){ for i in hadoop01 hadoop02 hadoop03 do echo " $i " ssh $i "${KAFKA_HOME}/bin/kafka-server-start.sh -daemo 阅读全文
posted @ 2020-11-20 14:35 smandar 阅读(283) 评论(0) 推荐(0)
Zookeeper 常用命令
摘要：zookeeper Server 启动/关闭/查看状态zkServer.sh start/stop/stautszookeeper Client 启动zkCli.sh查看帮助命令help查看当前znode中所包含的内容ls /查看节点详细数据ls -s /创建普通节点不赋值create /sangu 阅读全文
posted @ 2020-11-18 20:15 smandar 阅读(231) 评论(0) 推荐(0)
Hadoop 常用命令
摘要：-help：查看rm命令hdfs dfs -help rm-mkdir：递归创建目录hdfs dfs -mkdir -p /Test/dir-ls：显示目录信息hdfs dfs -ls /-cat：显示文件内容hdfs dfs -cat /Test/dir/aaa.txt-chgrp 、-chmod 阅读全文
posted @ 2020-11-17 10:56 smandar 阅读(135) 评论(0) 推荐(0)
Hadoop 编译源码
摘要：1. 前期准备工作 1. CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意：采用root角色编译，减少文件夹权限出现问题 2. jar包准备(hadoop源码、JDK8、maven、ant 、protobuf) （1）hadoop-2 阅读全文
posted @ 2020-11-01 15:59 smandar 阅读(210) 评论(0) 推荐(0)
Hadoop 2.7.2 集群安装配置
摘要：一、虚拟机环境配置 准备三台虚拟机： Linux系统 IP hostname Centos 7 192.168.107.2 Hadoop01 Centos 7 192.168.107.3 Hadoop02 Centos 7 192.168.107.4 Hadoop03 (1)下载安装VMware 链 阅读全文
posted @ 2020-10-30 12:17 smandar 阅读(504) 评论(0) 推荐(0)
集群分发脚本 xsync
摘要：1. scp（secure copy）安全拷贝 （1）scp定义： scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） （2）基本语法 scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname 命令 递归 要拷贝 阅读全文
posted @ 2020-10-29 17:46 smandar 阅读(364) 评论(0) 推荐(0)