Parallel Life

摘要：接着上一篇的问题继续讨论，现有2011年全年数据，要求提取2011年全年数据中date和uwind两列，并按时间顺序放入同一文件uwind_2011.txt中。数据格式如下图所示：中心思想：要想实现对数据批处理，关键在于对文件名做文章。思路1：如果提供的数据名很有规律，如以上文件名wind_yyyy-mm-dd.txt,很自然的想到用三个变量分别代表year、month和day。然后用一个三重循环就可以搞定了。不过由于一个月天数可能是30 or 31天（二月份是28 or 29天），需要判断比较麻烦。#! /bin/bashfor year in 2011do for month in $(. 阅读全文

摘要：气象领域常需要和数据处理打交道，一般气象数据分为两类：一类是专有压缩无格式数据，如nc数据；另一类是常见有格式文本数据，如txt、csv数据。前者需要编写相应Fortran程序或用专用程序如grads读取，而后者可用vim文本编辑器、execl等直接查看数据内容，并能直接手动提取数据。今天讲讲对常见有格式数据的处理。如果数据样本很少，手动提取无妨，但一涉及到成百上千的数据样本处理时，手动处理就不合时宜了，在这里介绍Linux下两个非常有用的文本处理工具：sed和awk。其中sed擅长于对行操作，即以行为处理对象进行替换、删除、编辑等操作；而awk擅长对列操作，常用于提取整列数据。。首先简... 阅读全文