【大数据系统架构师】0.2 Linux基础

1. Linux基本环境

1.1 大数据Hadoop前置大纲讲解

1）Linux系统，基本命令

2）Java语言，JavaSE相关知识

3）MySQL基本的DML和DDL

1.2 常见Linux系统、安装VMWare及虚拟机

1）重要的网站，大数据领域，hadoop发行版本，有公司Cloudera

http://archive.cloudera.com/cdh5

2）虚拟化工具VMWare

（1）安装VMWare

（2）创建虚拟机

（3）安装CentOS 6.5 操作系统

1.3 虚拟机网络配置（IP地址、主机名、防火墙）

1）网络连接

VMware虚拟机以NAT方式解决无法上网的问题

（1）使用NAT模式，虚拟机系统可以连接网络、有一个IP地址，宿主机系统能够远程连接。

这种方式下，虚拟机的网卡连接到宿主的 VMnet8 上。此时系统的 VMWare NAT Service 服务就充当了路由器的作用，负责将虚拟机发到 VMnet8 的包进行地址转换之后发到实际的网络上，再将实际网络上返回的包进行地址转换后通过 VMnet8 发送给虚拟机。VMWare DHCP Service 负责为虚拟机提供 DHCP 服务。

（2）ip地址的网段： 【192.168.68.128】

（3）自动获取的IP地址，有时会改变，需要设置固定的IP地址。

右击网络连接图标，编辑System eth0网卡IPv4 Settings，Manual。

配置IP地址：192.168.68.130（注意IP地址需要在vmnet8的本地DHCP服务分配的IP地址服务范围类，否则可能出现无法联网现象）

配置子网掩码：255.255.255.0

配置网关地址：192.168.68.2（网关IP与vmnet8的网关IP配置要一致，否则可能出现无法联网现象）

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0 
TYPE=Ethernet 
UUID=f9f0898c-bf2c-4183-857a-eab291cd904d 
ONBOOT=yes 
NM_CONTROLLED=yes 
BOOTPROTO=static  #none,dhcp, static三个不同的配置可能会对网络连接有影响
IPADDR=192.168.106.130 
NETMASK=255.255.255.0 
BROADCAST=192.168.106.255 
GATEWAY=192.168.106.2 
DNS1=114.114.114.114 
DNS2=8.8.8.8 
DEFROUTE=yes 
IPV4_FAILURE_FATAL=yes 
IPV6INIT=no 
NAME="System eth0" 
HWADDR=00:0C:29:22:D2:64 
PEERDNS=yes 
PEERROUTES=yes 
LAST_CONNECT=1456741165 

（4）重启网络配置

service network restart

或者 /etc/init.d/network restart

2）VMWare安装或卸载过程，导致windows重启后键盘或触摸板无法生效问题解决方案

VMware卸载后键盘失灵的解决方案

1.4 远程连接工具、主机名与IP地址映射配置

1）远程连接工具

SecureCRT、

2）远程连接四要素

IP地址：

用户名：

密码：

协议：SSH

3）主机名与IP地址映射

192.168.68.130 od001

在Linux和windows中都配置

4）

2. Linux基础命令

2.1 用户和组

1）清理屏幕 clear

2）创建用户useradd od

设置密码 passwd od

创建用户默认会创建该用户的主目录，或者叫家目录

/home/od，也可用~代替

3）切换用户 su - od

4）显示当前目录 pwd

5）设置主机名

查看主机名 hostname 

设置主机名（root用户） hostname od001

在Linux系统中，所有的信息都是来自于文件中。命令设置主机名重启后无法生效。

6）永久设置主机名

cat /etc/sysconfig/network

vi /etc/sysconfig/network

7）重启系统

关机 halt

重启

reboot

init6

2.2 文件和目录

2.3 编辑器VI和VIM

2.4 文件常用操作

3. Linux系统管理

3.1 磁盘基本管理命令（df、du、fdisk、mount）

1）系统信息

uname

uname -r 

cat /proc/cpuinfo

cat /proc/meminfo

显示系统当前时间 date

date -R

显示日历表 cal 2017

设置系统时间

date -s 2017-10-08

date -s 19:33:00

查看磁盘信息 df -lh

查看目录磁盘大小 du -sh /opt/modules

查看磁盘挂载信息 fdisk -l

修复磁盘 fsck /dev/sda3

 查看磁盘挂载信息 mount

挂载磁盘 mount /dev/sdb1 /data01
卸载磁盘 unmount /dev/sdb1

3.2 内存使用监控命令（top、free）

free

系统内存使用情况 free -m

top

M查看更详细

3.3 软件安装方式（rpm、tar、yum）

1）rpm命令

检查软件是否已安装

rpm -qa | grep java

卸载已安装的软件

rpm -e --nodeps xxx

安装软件

rpm -ivh xxx.rpm

使用rpm包安装mysql数据库

2）tar包源码编译安装，不推荐使用，太复杂

zip：

解压命令： unzip xxx.zip

压缩命令： zip yy.zip file

tar：

解压命令：

解压到当前目录 tar -zxvf xxx.tar.gz

解压到指定目录 tar -zxvf xxx.tar.gz -C dir  

压缩命令：

tar -zcvf zzz.tar.gz dir/file

v代表显示目录

3）yum

需要配置源，解决软件包依赖关系以及各个软件安装顺序

4）安装jdk

（1）下载jdk-7u67-linux-x64.tar.gz

（2）解压至/opt/modules下

（3）使用root用户 vi /etc/profile，在文件尾配置

## JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin

（4）source /etc/profile，使配置生效

（5）java -verision

javac -version

 3.4 设置普通用户sudo权限

1）vi /etc/sudoers

od ALL=(root)NOPASSWD:ALL

2）查看防火墙是否关闭

查看 sudo service iptables status

停止 sudo service iptables stop

启动 sudo service iptables start

重启 sudo service iptables restart

 

sudo service httpd status

sudo service httpd status

检查状态 sudo chkconfig httpd on

sudo chkconfig --list | grep httpd

永久性设置防火墙关闭

 sudo chkconfig iptables off | on

selinux禁用

vi /etc/sysconfig/selinux

SELINUX=enforcing  改为 

SELINUX=disabled   注意不要配置错误，否则系统无法重启

4. Shell基础编程

4.1 Shell介绍及基本案例

4.2 变量、控制、循环基本语法

4.3 Linux Crontab定时任务使用