hadoop三：linux磁盘命令

1.df : 磁盘分区使用信息Disk Free

仅显示分区信息，但还包括诸如tmpfs缓存分区，挂载的远程目录，缓存分区swrap等信息

df -h  以人类可读的格式，列出磁盘分区信息

ll /dev 列表磁盘目录

文件系统                容量  已用  可用 已用% 挂载点
udev                    3.9G     0  3.9G    0% /dev
tmpfs                   786M  1.6M  785M    1% /run
/dev/sda5               110G   24G   81G   23% /
tmpfs                   3.9G  147M  3.7G    4% /dev/shm
tmpfs                   5.0M  4.0K  5.0M    1% /run/lock
tmpfs                   3.9G     0  3.9G    0% /sys/fs/cgroup
//192.168.10.253/jerry  427G  103G  303G   26% /mnt/253
tmpfs                   786M   56K  786M    1% /run/user/1000
/dev/sdb1               196G   94M  196G    1% /media/jerry/life
/dev/sdb2               287G  1.3G  286G    1% /media/jerry/work
/dev/sdb3               450G  366M  449G    1% /media/jerry/backup

 

 

2.fdisk :磁盘和磁秀分区命令

１).列出所有磁盘及分区的信息

显示磁盘，及磁盘的分区信息，更详细的信息；但只针对有效的物理硬盘，不包括挂载的远程目录，缓存分区swrap等

fdisk -l  只查看磁盘，查看磁盘的具体信息

# 磁盘1信息
Disk /dev/sdb: 931.5 GiB, 1000204886016 bytes, 1953525168 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: dos
Disk identifier: 0xbb0b8118
# 磁盘1的分区信息
Device     Boot      Start        End   Sectors   Size Id Type
/dev/sdb1             2048  409602047 409600000 195.3G  7 HPFS/NTFS/exFAT
/dev/sdb2        409602048 1011439615 601837568   287G  7 HPFS/NTFS/exFAT
/dev/sdb3       1011439616 1953519615 942080000 449.2G  7 HPFS/NTFS/exFAT

#磁盘２信息
Disk /dev/sda: 111.8 GiB, 120034123776 bytes, 234441648 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x14a364de
# 磁盘2的分区信息
Device     Boot Start       End   Sectors   Size Id Type
/dev/sda1        4096 234434559 234430464 111.8G  5 Extended
/dev/sda5  *     6144 234434559 234428416 111.8G 83 Linux

 

2).修改、创建分区：

fdisk 磁盘分区的名称：进入此磁盘分区，再查看更具体的信息，并可修改分区信息

# fdisk /dev/sdb

 

 

3.du 查看某个目录或分区的使用大小 Disk usage

du -h 目录名或磁盘分区名称：查看此目录或磁盘分区下各个文件的使用大小

du -h -s 目录名称或磁盘分区名称：查看此目录或磁盘分区总的使用大小

 

4.mkfs.ext4  格式化硬盘分区

分区的命令比较多

mkfs.ext4   磁盘分区的名称：格式化此硬盘分区

 

5.mount：挂载磁盘

挂载：   mount -t vfat 磁盘分区名称(设备文件) 挂载的目录名称

以读写的方式，重新挂载：  mount -o remount rw 挂载的目录名称

选项说明：

-t   指定设备的文件系统类型，如ext4, ext3, vfat, nfs, auto

-o 指定挂载文件系统时的选项，有些也可写到在/etc/fstab中。常用的有：

defaults 使用所有选项的默认值（auto、nouser、rw、suid）

auto/noauto 允许/不允许以 –a选项进行安装

dev/nodev 对/不对文件系统上的特殊设备进行解释

exec/noexec 允许/不允许执行二进制代码

suid/nosuid 确认/不确认suid和sgid位

user /nouser 允许/不允许一般用户挂载

codepage=XXX 代码页

iocharset=XXX 字符集

ro 以只读方式挂载

rw 以读写方式挂载

remount 重新安装已经安装了的文件系统

loop 挂载回旋设备

 

卸载：umount 挂载的目录名称或者设备文件

 

6.文件系统修复，用来检查并修复Linux文件系统

fsck -y 磁盘分区名称或目录名称：  既可以修复目录，也可以修复分区

最好在单用户模式下使用

【应急】

1、如遇提示FSCK时，请小心。如果可能，请尽快断开系统，UMOUNT所有分区。
2、必需执行FSCK时，先做准备工作，方法一：可事先用dd命令将所涉及到的分区输出到另外的存储体上（最好不要在出错的存储体本身上做dd） 命令大致结构可如： dd if=/dev/sda0 of=/dev/sdb0 .....
3、如上面几种方式均因条件等原因无法实施，必须执行时，可小心观察FSCK的执行提示（关掉-a）如果发现有提示节点错误需更正或清0、节点描述文件大小不正确等信息，应停止执行FSCK

【备注】

1) 如果可能，先对故障区域做dd全镜像后再执行，或者以只读方式执行，并仔细看修复过程，如果提示大量inode错误、需要重建树、或大小不对等就不可再继续下去了

2) 文件系统常见错误,并且问题通常原因是电源失败、硬件失败、或操作错误，例如没有正常关闭系统

3) fsck 只能运行于未mount的文件系统，不要用于已mount的文件系统

4) 修复完成后，会出现提示“FILE SYSTEM WAS MODIFIED”。这时输入命令 "reboot" 命令重启系统

 

7.linux文件格式

ext4 ext3 ext2 vfat(fat32)

8.windows文件格式

fat32 ntfs

 

8.在本地linux主机，挂载远程linux目录

方式一：cifs方式

cifs，通俗点讲就是samba的方式

远程主机安装samba服务

部分/etc/samba/smb.conf 内容

[testuser]
    path = /home/testuser/share
    read only = no
;    browseable = yes
    valid users = testuser

共享目录/home/testuser/share，有效用户为testuser

 

或者将所有user设置为有效用户：

#============================ Share Definitions ==============================
    
[homes]
    comment = Home Directories
    browseable = no
    writable = yes
;    valid users = %S
;    valid users = MYDOMAIN\%S

 

本地操作如下

安装 cifs-utils       sudo apt-get install  cifs-utils 神马的

命令id得到本地用户localuser的id,gid    

比如得到uid=1000(localuser) gid=1000(localuser)  

修改/etc/fstab

//192.168.0.xx/testuser/  /mnt/test/   cifs    rw,noauto,defaults,username=testuser,password=testuserpassword,uid=1000,gid=1000    0       0

然后sudo mount /mnt/test就会挂载，此时localuser翻身做主人了,注意为了安全fstab中可以不写password=testuserpassword这段，然后在mount时手动输入密码，如果要开机自动挂载，可以把noauto改成auto,或者在启动脚本中mount

 

方式二：nfs方式

确认远程linux主机是否安装nfs并运行：service nfs status          whereis nfs

在本地主机上，运行(临时持载)：sudo sshfs liuxh@192.168.10.253:/home/liuxh/python /253 -o allow_other