气象数据处理脚本篇（三）：CSV文件

    前面两篇讨论了对txt数据的处理，本篇则讨论下CSV数据的处理。处理的大致思路相同，主要区别在于CSV数据列（或称字段）与列之间用逗号隔开，而txt一般用空格隔开。

    以下对CSV格式的介绍来自于网络。

    CSV（Comma Separated Values）,逗号分隔型取值格式，是一种纯文本格式，用来存储数据，用逗号分隔字段（用vim打开可发现这点）。CSV格式是分隔的数据格式，有字段/列分隔的逗号字符和记录/行分隔换行符。字段包含特殊字符(逗号，换行符，或双引号)，必须以双引号括住。行内包含一个项目是空字符串，可以以双引号括住。字段的值包含双引号时，要双写这个双引号（就像把一个双引号当做转义符一样）。

                图1 excel打开csv文件情形

 

                 图2 gvim打开csv文件情形

由图1和图2对比可以看出：

•  csv文件字段以逗号作为分隔符，行结束不用逗号 
•  如果字段中出现逗号等特殊字符，字段值必须用双引号" "括起来；（对比第五行第一列） 
•  如果行中某一字段为空，能需要逗号分隔以示其存在。（对比第四行第二列）

 

处理要求：现有数据wind_201101.csv（见图3），提取date、vwind两列到新建文件  

          vwind_201101.csv

                   图3  wind_201101.csv

 

需要解决两个问题：

1.由于awk输入字段分隔符内置变量为FS,默认字段分隔符FS值是空格或tab，而CSV文件字段分隔符是逗号，所以需要改变FS值，有两种方法，通过在BEGIN语句中赋值或命令行加选项-F赋值。

awk -F","  '{print $1 , $3}'  wind_201101.csv

 

  图4 输出结果

2.可以从上图看出，默认输出字段分隔符是单个空格，被保存在内置变量OFS中。如果用OFS默认值，$1和$3之间的逗号会被转换成单个空格，print函数打印这两个字段时会在它们之间加上一个空格。由于要求保存为CSV文件，OFS要设置成逗号分隔符，有两种方法，通过在BEGIN语句中赋值或$1和$3之间逗号加上双引号。

awk -F","  '{print $1 "," $3}'  wind_201101.csv 

 

                      

                     图5 输出结果

 

3.将输出结果写入vwind_201101.csv中：

awk -F","  '{print $1 "," $3}'  wind_201101.csv > vwind_201101.csv

或 

awk 'BEGIN{FS="," ; OFS="," }{print $1,$3}'  wind_201101.csv >vwind_201101.csv

*******************************************************************************