hadoop学习

一、关于Liunx命令

二、关于kafka启动命令

三、关于hadoop

♦Liunx命令

安装epel-release：yum install -y epel-release
安装vim：yum install -y vim
安装net-tool：yum install -y net-tools
卸载jdk:rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
查看网络状态：systemctl status network

关闭防火墙
systemctl stop firewalld
systemctl disable firewalld.service//开机关闭

♥kafka启动命令

加权限 chmod u+x "文件名"
启动kafka
./bin/zookeeper-server-start.sh config/zookeeper.properties &
./bin/kafka-server-start.sh config/server.properties &

 

♠hadoop相关

配置网络适配器

vim /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=static//固定Ip
IPADDR=192.168.10.100
GATEWAY=192.168.10.2
DNS1=168.168.10.2
:wq保存退出

配置主机名称

vim /ect/hostname

配置网络映射

vim /ect/hosts

安装jdk、hadoop

tar -zxvf hadoop....tar.gz -C /opt/model/

修改配置 

 

hdfs相关命令

显示hadoop目录结构: hdfs dfs -ls -R /

查看指定目录下内容: hdfs dfs -ls [文件目录]

打开某个已存在文件:hdfs dfs -cat [file_path]

在hadoop指定目录下新建一个空文件:hdfs dfs -touchz /winnie/test03.txt

将hadoop上某个文件重命名:hdfs dfs -mv /winnie/test03.txt /winnie/test.txt

hadoop创建新目录: hdfs dfs -mkdir /wgy

将hadoop上某个文件down至本地已有目录下:hdfs dfs -get [文件目录] [本地目录]

将本地文件夹存储至hadoop:hdfs dfs -put [本地目录] [hadoop目录]

启动hadoop相关命

启动历史服务器：bin/mapred --daemon start historyserver

关闭安全模式：hdfs dfsadmin -safemode leave 

开启日志聚集功能：配置yarn-site.xml文件

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<property>
<name>yarn.log.server.url</name>
<value>http://192.168.10.100:19888/jobhistory/logs</value>
</property>

<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>