Linux第六节随笔 输入输出重定向 、管道、通配符、wc / grep / tr / sort / cut / which /whereis /locate /find /
三期第五讲 -高级文件管理
1.输入输出重定向
ls -l /dev/stdin -> /proc/self/fd/0
标准输入 设备:键盘 标记:0
ls -l /dev/stdout -> /proc/self/fd/1
标准输出 设备:屏幕 标记:1
ls -l /dev/stderr -> /proc/self/fd/2
错误输出 设备:屏幕 标记:2
ls /etc/passwd /etc/passwd1 1>1.log 2>2.log
将正确输出1 写入1.log ，将错误输出写入2.log
ls /etc/passwd /etc/passwd1 &>all.log
将正确输出和错误输出一同写入all.log
ls /etc/passwd /etc/passwd1 1>lei.log 2>&1
将正确输出和错误输出一同写入lei.log
ls /etc/passwd /etc/passwd1 /dev/null 2>&1
系统的黑洞：不占用磁盘空间
dd if=/dev/zero of=aaa.log bs=1 count=1M
零发射器，将1M数据写入文件
echo "aaa" > aaa.log
将字符写入文件
echo "bbb" >>aaa.log
将字符追加写入文件
cat < aaa.log
将文件的内容作为cat 的输入
| 管道妙用
将上一个命令的标准输出,传递给下一个命令做标准输入
cat /etc/passwd | head -n 3 | cut -d: -f 1,3,7 |sort -rt: -k 2 |tr [a-z] [A-Z]
--通配符
*：匹配任意长度的任意字符
？：匹配任意一个字符
[]：任意属于字符组的字符
{}：将大括号中的字符串以及前导字符串和后继字符串作为匹配条件
>>：附加到指定文件的结尾
>：输出重定向
<：输入重定向
|：管道符，用于连接多个命令，前一个命令的输出作为后一个命令的输入
||：逻辑或
&&：逻辑与
&：在后台执行
2.wc： Word Count
作用：计算文件的单词数，行数，字符数，并将统计结果显示输出
参数：-c 统计字节数。
-l 统计行数。
-m 统计字符数。这个标志不能与 -c 标志一起使用。
-w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。
-L 打印最长行的长度。
-help 显示帮助信息
--version 显示版本信息
语法：wc fileNM
7 8 70 test.txt
行数 单词数 字节数 文件名
3.grep ：http://www.cnblogs.com/peida/archive/2012/12/17/2821195.html
作用：用于过滤/搜索的特定字符。可使用正则表达式能多种命令配合使用，使用上十分灵活
参数：-a --text #不要忽略二进制的数据。
-c --count #计算符合样式的列数。
-i --ignore-case #忽略字符大小写的差别。
-v --revert-match #显示不包含匹配文本的所有行。
-n --line-number #在显示符合样式的那一行之前，标示出该行的列数编号。
规则表达式：^ #锚定行的开始 如：'^grep'匹配所有以grep开头的行。
$ #锚定行的结束 如：'grep$'匹配所有以grep结尾的行。
. #匹配一个非换行符的字符 如：'gr.p'匹配gr后接一个任意字符，然后是p。
* #匹配零个或多个先前字符 如：'*grep'匹配所有一个或多个空格后紧跟grep的行。
.* #一起用代表任意字符。
[] #匹配一个指定范围内的字符，如'[Gg]rep'匹配Grep和grep。
[^] #匹配一个不在指定范围内的字符，如：'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一个字母开头，紧跟rep的行。
\(..\) #标记匹配字符，如'\(love\)'，love被标记为1。
\< #锚定单词的开始，如:'\<grep'匹配包含以grep开头的单词的行。
\> #锚定单词的结束，如'grep\>'匹配包含以grep结尾的单词的行。
x\{m\} #重复字符x，m次，如：'0\{5\}'匹配包含5个o的行。
x\{m,\} #重复字符x,至少m次，如：'o\{5,\}'匹配至少有5个o的行。
x\{m,n\} #重复字符x，至少m次，不多于n次，如：'o\{5,10\}'匹配5--10个o的行。
\w #匹配文字和数字字符，也就是[A-Za-z0-9]，如：'G\w*p'匹配以G后跟零个或多个文字或数字字符，然后是p。
\W #\w的反置形式，匹配一个或多个非单词字符，如点号句号等。
\b #单词锁定符，如: '\bgrep\b'只匹配grep。
语法： grep '^string' file
grep 'string$' file
grep -c 'string' file
4. tr
作用：标准输入中通过替换或删除操作进行字符转换
语法：tr -c -d -s ["string1_to_translate_from"] ["string2_to_translate_to"] < input-file
参数：-c 用字符串1中字符集的补集替换此字符集，要求字符集为ASCII。
-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列，只保留第一个；即将重复出现字符串压缩为一个字符串。
input-file是转换文件名。虽然可以使用其他格式输入，但这种格式最常用。
字符范围：指定字符串1或字符串2的内容时，只能使用单字符或字符串范围或列表。
[a-z] a-z内的字符组成的字符串。
[A-Z] A-Z内的字符组成的字符串。
[0-9] 数字串。
\octal 一个三位的八进制数，对应有效的ASCII字符。
[O*n] 表示字符O重复出现指定次数n。因此[O*2]匹配OO的字符串。
tr中特定控制字符的不同表达方式
速记符含义八进制方式
\a Ctrl-G 铃声\007
\b Ctrl-H 退格符\010
\f Ctrl-L 走行换页\014
\n Ctrl-J 新行\012
\r Ctrl-M 回车\015
\t Ctrl-I tab键\011
\v Ctrl-X \030
语法:cat file | tr "abc" "xyz" > new_file
将文件中的abc 替换为 xyz
cat file | tr -d "Snail" > new_file
凡是在file文件中出现的'S','n','a','i','l'字符都会被删除！而不是紧紧删除出现的"Snail”字符串
cat file | tr -d "\n\t" > new_file
删除文件file中出现的换行'\n'、制表'\t'字符
cat file | tr -d "\n\t" > new_file
删除文件file中出现的换行'\n'、制表'\t'字符
cat file | tr -s [a-zA-Z] > new_file
删除“连续着的”重复字母，只保留第一个
cat file | tr -s "\n" > new_file
删除空行
5.sort
作用：将文本文件内容加以排序，sort可针对文本文件的内容，以行为单位来排序
参数： -b 忽略每行前面开始出的空格字符。
-c 检查文件是否已经按照顺序排序。
-d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符。
-f 排序时，将小写字母视为大写字母。
-i 排序时，除了040至176之间的ASCII字符外，忽略其他的字符。
-k 选择以哪个区间进行排序。
-m 将几个排序好的文件进行合并。
-M 将前面3个字母依照月份的缩写进行排序。
-n 依照数值的大小排序。
-o<输出文件> 将排序后的结果存入指定的文件。
-r 以相反的顺序来排序。
-t<分隔字符> 指定排序时所用的栏位分隔字符。
-u 去除重复行
+<起始栏位>-<结束栏位> 以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位。
语法：sort -n -t 'ch' -k num file
ch 字符的第num 段按照数值排序
6.cut
作用：按列提取文件
参数： -d 指明列分隔符 -f 选择输出的区域 -c 指定字符位置
-b ：以字节为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志。
-c ：以字符为单位进行分割。
-d ：自定义分隔符，默认为制表符。
-f ：与-d一起使用，指定显示哪个区域。
-n ：取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的<br />范围之内，该字符将被写出；否则，该字符将被排除
语法： cut -b 8,3-5
3-5,8:cut命令如果使用了-b选项，那么执行此命令时，cut会先把-b后面所有的定位进行从小到大排序，然后再提取。可不能颠倒定位的顺序哦
cut -b -3
-3表示从第一个字节到第三个字节
cut -b 3-
3-表示从第三个字节到行尾
cut -b -3,3-
输出整行，不会出现连续两个重叠的
cut -c
-c则会以字符为单位，输出正常；而-b只会傻傻的以字节（8位二进制位）来计算，输出就是乱码. 当遇到多字节字符时，可以使用-n选项，
cut -d : -f 1,3-5
提取按照：分割的第一列，第三列到第五列
sed -n l file
空格到底是由若干个空格组成的还是由一个制表符组成,-n 后L的小写字母
7.which
作用：在PATH变量指定的路径中，搜索某个系统命令的位置，并且返回第一个搜索结果
参数：-n 指定文件名长度，指定的长度必须大于或等于所有文件中最长的文件名。
-p 与-n参数相同，但此处的包括了文件的路径。
-w 指定输出时栏位的宽度。
-V 显示版本信息
语法： which 命令
8.whereis
作用：whereis命令只能用于程序名的搜索，而且只搜索二进制文件（参数-b）、man说明文件（参数-m）和源代码文件（参数-s）。如果省略参数，则返回所有信息。
参数：-b 定位可执行文件。
-m 定位帮助文件。
-s 定位源代码文件。
-u 搜索默认路径下除可执行文件、源代码文件、帮助文件以外的其它文件。
-B 指定搜索可执行文件的路径。
-M 指定搜索帮助文件的路径。
-S 指定搜索源代码文件的路径。
9.locate ：http://www.cnblogs.com/peida/archive/2012/11/12/2765750.html
作用：locate命令可以在搜寻数据库时快速找到档案，数据库由updatedb程序来更新，是最近才建立或刚更名的数据，可能会找不到，执行updatedb则会更新数据库。
参数:-e 将排除在寻找的范围之外。
-1 如果 是 1．则启动安全模式。在安全模式下，使用者不会看到权限无法看到 的档案。这会始速度减慢，因为 locate 必须至实际的档案系统中取得档案的 权限资料。 实际搜寻硬盘查询文件名称
-f 将特定的档案系统排除在外，例如我们没有到理要把 proc 档案系统中的档案 放在资料库中。
-q 安静模式，不会显示任何错误讯息。
-n 至多显示 n个输出。
-r 使用正规运算式 做寻找的条件。
-o 指定资料库存的名称。
-d 指定资料库的路径
-h 显示辅助讯息
-V 显示程式的版本讯息
10.find
作用：用于在文件树种查找文件，并作出相应的处理 （硬盘）
格式：find pathname -options [-print -exec -ok ...]
格式参数：pathname: find命令所查找的目录路径。例如用.来表示当前目录，用/来表示系统根目录。
-print： find命令将匹配的文件输出到标准输出。
-exec： find命令对匹配的文件执行该参数所给出的shell命令。相应命令的形式为'command' { } \;，注意{ }和\；之间的空格。
-ok： 和-exec的作用相同，只不过以一种更为安全的模式来执行该参数所给出的shell命令，在执行每一个命令之前，都会给出提示，让用户来确定是否执行。
命令选项：-name 按照文件名查找文件。
-perm 按照文件权限来查找文件。
-prune 使用这一选项可以使find命令不在当前指定的目录中查找，如果同时使用-depth选项，那么-prune将被find命令忽略。
-user 按照文件属主来查找文件。
-group 按照文件所属的组来查找文件。
-mtime -n +n 按照文件的更改时间来查找文件， - n表示文件更改时间距现在n天以内，+ n表示文件更改时间距现在n天以前。find命令还有-atime和-ctime 选项，
-nogroup 查找无有效所属组的文件，即该文件所属的组在/etc/groups中不存在。
-nouser 查找无有效属主的文件，即该文件的属主在/etc/passwd中不存在。
-newer file1 ! file2 查找更改时间比文件file1新但比文件file2旧的文件。
-type 查找某一类型的文件，诸如：
b - 块设备文件。
d - 目录。
c - 字符设备文件。
p - 管道文件。
l - 符号链接文件。
f - 普通文件。
-size n：[c] 查找文件长度为n块的文件，带有c时表示文件长度以字节计。-depth：在查找文件时，首先查找当前目录中的文件，然后再在其子目录中查找。
-fstype：查找位于某一类型文件系统中的文件，这些文件系统类型通常可以在配置文件/etc/fstab中找到，该配置文件中包含了本系统中有关文件系统的信息。
-mount：在查找文件时不跨越文件系统mount点。
-follow：如果find命令遇到符号链接文件，就跟踪至链接所指向的文件。
-cpio：对匹配的文件使用cpio命令，将这些文件备份到磁带设备中。
另外,下面三个的区别:
-amin n 查找系统中最后N分钟访问的文件
-atime n 查找系统中最后n*24小时访问的文件
-cmin n 查找系统中最后N分钟被改变文件状态的文件
-ctime n 查找系统中最后n*24小时被改变文件状态的文件
-mmin n 查找系统中最后N分钟被改变文件数据的文件
-mtime n 查找系统中最后n*24小时被改变文件数据的文件
语法 ：find -atime -2 :查找指定时间内修改过的文件
find -name "*.log" :根据关键字查找
find /opt/soft/test/ -perm 777:按照目录或文件的权限来查找文件
find -type f -name "*.log":按类型查找
find -type d | sort:查找当前所有目录并排序
find -size +1M -print:按大小查找文件并输出
find -name "*.log" |xargs rm -rf: 删除查找文件
find -name "*.log" -exec ls -l {}; 以长格式显示查找文件
find -name "*.log" -exec rm -f {}; 删除查找文件
find -name "*.log" -ok rm -f {}; 交互删除文件
