shell 日常技巧

批量注释：

:<<COMMENT  

    code

COMMENT

循环：

#!/bin/bash 

for varible1 in {1..5}  #for varible1 in 1 2 3 4 5  

do  

     echo "Hello, Welcome $varible1 times “  

done

 

Linux 核数查询

# 总核数 = 物理CPU个数 X 每颗物理CPU的核数
# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数

# 查看物理CPU个数
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l

# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo| grep "cpu cores"| uniq

# 查看逻辑CPU的个数
cat /proc/cpuinfo| grep "processor"| wc -l

 

基础技巧 

rm 移除

ll -h 显示文件详情

ls 显示目录下的文件

sz 下载

Mkdir  新建文件夹

pwd 显著当前路径

date=`date -d "-1 day" +%Y-%m-%d` 返回昨天的日期 

 

nohup

把日志文件和结果文件分开存储：

nohup sh a.sh 2>run.log 1>lp_result.csv &

第一步：后台跑shell脚本

nohup sh a.sh &          nohup sh create_table_2.sh &

第二步：查看进程

ps -ef | grep create_table_2.sh

第三步：看进程日志

循环读取：tail -f nohup.out

清空日志：cat /dev/null > nohup.out

copy日志，清空后台日志 cp nohup.out nohup_bak.out

第四步：终止进程

kill 进程号

 

hdfs操作

查看目录下的文件：hadoop fs -lsr hdfs_path 

新建目录：hadoop fs -mkdir hdfs_path/file_name

上传当前文件夹下所有文件到目录：hadoop fs -put *  hdfs_path/file_name