使用shell数据处理数据实例①-------手把手教学版
引子：
在工作过程中经常要处理各种小数据，同事间会用各种工具方法来处理，比如用java、python、Perl甚至用UE手工处理。但貌似不都方便。
今天举一例子使用shell来处理，来说明shell一行可以解决用其它语言多行的问题。
需求：
有两个文件, device_jingweidu.txt 和device.txt，文件内容如下面格式：
device_jingweidu.txt：
08659100001310000171,08659100001110000171@QQY.SZF,1,三明尤溪水东水库坝上,118.210124,26.176165 08659100001310000172,08659100001110000172@QQY.SZF,1,三明尤溪水东水库坝下,118.210124,26.176165 08659100001310000365,08659100001110000365@QQY.SZF,1,北高镇东乡村码头水位监控,119.156551,25.382036 08659100001310000607,08659100001110000607@QQY.SZF,1,海洋渔业无线接入摄像头,0,0 08659100001310000621,08659100001110000621@QQY.SZF,1,福州连江山仔水库上游,119.423026,26.225916 08659100001310000622,08659100001110000622@QQY.SZF,1,福州连江山仔水库下游,119.420331,26.230514 08659100001310000696,08659100001110000696@QQY.SZF,1,南平沙溪口水库2,118.09497,26.589413 08659100001310001026,08659100001110001026@QQY.SZF,1,077乌山路市政府门口B,119.303413,26.080324 08659100001310001094,08659100001110001094@QQY.SZF,1,三明安砂水库坝上,117.119716,26.038324 08659100001310001095,08659100001110001095@QQY.SZF,1,三明安砂水库坝下,117.119716,26.038324 08659100001310001096,08659100001110001096@QQY.SZF,1,南平沙溪口水库1,118.09497,26.589413 08659100001310001188,08659100001110001188@QQY.SZF,1,福鼎-沙埕渔港(省),120.424978,27.167177 08659100001310001346,08659100001110001346@QQY.SZF,1,福清东张水库大坝上弧门旁,119.296539,25.70688 08659100001310001356,08659100001110001356@QQY.SZF,1,惠女水库溢洪道桥,118.589045,25.099911 08659100001310001392,08659100001110001392@QQY.SZF,1,福州_连江黄歧渔港,119.889881,26.324397 08659100001310001393,08659100001110001393@QQY.SZF,1,福州_罗源磬里渔排区,119.723905,26.468112
后面两列为经维度
device.txt：
08659100001310001026@QQY.SZF,08659100001110001026@QQY.SZF,1,077乌山路市政府门口B,0,0 08659100001310001346@QQY.SZF,08659100001110001346@QQY.SZF,1,福清东张水库大坝上弧门旁,0,0 08659100001310001417@QQY.SZF,08659100001110001417@QQY.SZF,1,宁德_霞浦三沙渔港,0,0 08659100001310001420@QQY.SZF,08659100001110001420@QQY.SZF,1,南平_九峰桥头,0,0 08659100001310001544@QQY.SZF,08659100001110001544@QQY.SZF,1,（暂拆）湄洲镇湄洲岛渔港-010038,0,0 08659100001310003450@QQY.SZF,08659100001110003450@QQY.SZF,1,092_北大路华林路口,0,0 08659100001310003657@QQY.SZF,08659100001110003657@QQY.SZF,1,城厢区下尾渔港-010050,0,0 08659100001310004612@QQY.SZF,08659100001110004612@QQY.SZF,1,01闽清水口水库水工楼楼顶,0,0 08659100001310004613@QQY.SZF,08659100001110004613@QQY.SZF,1,02闽清水口水库船闸屋顶,0,0 08659100001310005130@QQY.SZF,08659100001110005130@QQY.SZF,1,惠安崇武码头,0,0
后面两列经维度都为0
现需要将device.txt的文件与device_jingweidu.txt文件比对，然后将经纬度更新上次。
需求很简单，根据地点为参数，然后将经纬度更新至device.txt文件
实现：
思路很简单：将原文件存储，然后再读取要更新的文件进行比对，有的就经纬度替换
先看看python是怎么实现的吧，很简单
#coding:utf-8 ''' Created on 2016-5-4 @author: Administrator ''' source_text=r'f:\\Work\\device(带经纬度).txt' uipath=unicode(source_text,'utf8') dest_text=r'F:\Work\device.txt' source_dict={} with open(uipath) as source: for line in source: new=line.split(',',4) source_dict[new[3]]=new[4].strip() dd=open('f:\\Work\\new_devices.txt','wb') with open(dest_text) as dest: for line in dest: new=line.split(',') #print new[3], if new[3] in source_dict: dd.write(",".join(new[:-2])+","+source_dict[new[3]]+"\r\n") #这里是在windows下，所以用\r\n换行 else: dd.write(",".join(new[:-2])+","+"0.0"+"\r\n") dd.close()
结果如下：
08659100001310001026@QQY.SZF,08659100001110001026@QQY.SZF,1,077乌山路市政府门口B,119.303413,26.080324 08659100001310001346@QQY.SZF,08659100001110001346@QQY.SZF,1,福清东张水库大坝上弧门旁,119.296539,25.70688 08659100001310001417@QQY.SZF,08659100001110001417@QQY.SZF,1,宁德_霞浦三沙渔港,0.0 08659100001310001420@QQY.SZF,08659100001110001420@QQY.SZF,1,南平_九峰桥头,118.189546,26.639557 08659100001310001544@QQY.SZF,08659100001110001544@QQY.SZF,1,（暂拆）湄洲镇湄洲岛渔港-010038,0.0 08659100001310003450@QQY.SZF,08659100001110003450@QQY.SZF,1,092_北大路华林路口,119.299107,26.104303 08659100001310003657@QQY.SZF,08659100001110003657@QQY.SZF,1,城厢区下尾渔港-010050,0.0 08659100001310004612@QQY.SZF,08659100001110004612@QQY.SZF,1,01闽清水口水库水工楼楼顶,118.839738,26.298528 08659100001310004613@QQY.SZF,08659100001110004613@QQY.SZF,1,02闽清水口水库船闸屋顶,118.839738,26.298528
但是，太麻烦，为了处理文本每次都去写个脚本，万一未装python环境呢。
正好，数据正好在linux下，就直接用shell处理吧，首选awk
awk如何处理两个文件呢
使用NR、FNR来处理，如下：
# awk '{print NR,$0}' file1 file2 1 a b c d 2 a b d c 3 a c b d 4 aa bb cc dd 5 aa bb dd cc 6 aa cc bb dd # awk '{print FNR,$0}' file1 file2 1 a b c d 2 a b d c 3 a c b d 1 aa bb cc dd 2 aa bb dd cc 3 aa cc bb dd
知道这一点后，处理我们这个需求更方便了，如下：
awk 'BEGIN{FS=OFS=","}NR==FNR{w[$4]=$5","$6}NR>FNR{for(a in w) if (a==$4){print $1,$2,$3,$4,w[a]}}' device_jingweidu.txt device.txt
结果如下
08659100001310001026@QQY.SZF,08659100001110001026@QQY.SZF,1,077乌山路市政府门口B,119.303413,26.080324 08659100001310001346@QQY.SZF,08659100001110001346@QQY.SZF,1,福清东张水库大坝上弧门旁,119.296539,25.70688 08659100001310001420@QQY.SZF,08659100001110001420@QQY.SZF,1,南平_九峰桥头,118.189546,26.639557 08659100001310003450@QQY.SZF,08659100001110003450@QQY.SZF,1,092_北大路华林路口,119.299107,26.104303 08659100001310004612@QQY.SZF,08659100001110004612@QQY.SZF,1,01闽清水口水库水工楼楼顶,118.839738,26.298528 08659100001310004613@QQY.SZF,08659100001110004613@QQY.SZF,1,02闽清水口水库船闸屋顶,118.839738,26.298528
看不懂吗？来解释下吧：
1、awk的编码规则：
awk 'BEGIN{action}
模式{action}
END{action}'
2、BEGIN{FS=OFS=","} FS表示：指定处理分隔符 OFS:输出分隔符，具体可以参考我之前的blog对FS\OFS\IFS等的解释http://www.cnblogs.com/landhu/p/4962521.html
因为这里的分隔都是以,来处理，所以先将分隔符以,号标识
3、NR==FNR{w[$4]=$5","$6}
NR==FNR，按之前NR和FNR说知道，NR==FNR表明在处理第一个文件
w[$4]=$5","$6，这是awk中的关联数组，下标为文件一中的第四列，值为$5,$6 ，存在数据w中
awk中的关联数组是shell中的一个难点，与其它语言的数组还不一样，具体可以参考：http://www.cnblogs.com/chengmo/archive/2010/10/08/1846190.html
4、NR>FNR
表明处理第二个文件
{for(a in w) if (a==$4){print $1,$2,$3,$4,w[a]}}
关联数组的遍历，遍历时将值与第二个文件的第四列对比，有值时，就输出
优化
这个脚本没问题，但存在一个问题，未匹配上的没有显示且脚本有点长，我们来进行优化下，如下
awk 'BEGIN{FS=OFS=","}NR==FNR{w[$4]=$5","$6}NR>FNR && gsub(/0,0/,w[$4])' device_jingweidu.txt device.txt
结果如下：
08659100001310001026@QQY.SZF,08659100001110001026@QQY.SZF,1,077乌山路市政府门口B,119.303413,26.080324 08659100001310001346@QQY.SZF,08659100001110001346@QQY.SZF,1,福清东张水库大坝上弧门旁,119.296539,25.70688 08659100001310001417@QQY.SZF,08659100001110001417@QQY.SZF,1,宁德_霞浦三沙渔港, 08659100001310001420@QQY.SZF,08659100001110001420@QQY.SZF,1,南平_九峰桥头,118.189546,26.639557 08659100001310001544@QQY.SZF,08659100001110001544@QQY.SZF,1,（暂拆）湄洲镇湄洲岛渔港-010038, 08659100001310003450@QQY.SZF,08659100001110003450@QQY.SZF,1,092_北大路华林路口,119.299107,26.104303
这个处理就相对好了，没有匹配的数据还有，显示经纬度为空
解释下脚本：
使用了一个awk内置函数gsub，用来替换的，直接将0,0替换数组的值
关于awk内置函数相关文档：http://www.cnblogs.com/chengmo/archive/2010/10/08/1845913.html
Email:362299908@qq.com
