删除相邻重复的行

notepad++ 删除相邻重复的行
查找 (.+?)(\r\n)\1 替换为 \1 


sed 删除重复行
sed -nr '1h;1!H;${x;s/(.+)(\n)\1/\1/g;p}' num.txt
-n 安静模式,sed 读取下一行之前,都会把模式空间的内容,打印到标准输出,-n取消这种打印。
-r 支持扩展正则表达式
1h;1!H; 把所有行放到保留空间
$ 最后一行,对最后一行处理,然后交换模式空间与保留空间的内容,正则表达式替换掉相邻重复的行。 sed好像不支持忽略量词优先,暂时不确定。 


awk 删除重复行 


注意:删除连续多行重复的内容,查找 (.+?)(\r\n\1)+ 替换为 \1

posted on 2015-04-12 19:21  Andy Niu  阅读(1325)  评论(1编辑  收藏  举报