代码改变世界

《Hadoop权威指南》(Hadoop:The Definitive Guide) 气象数据集下载脚本

2014-01-20 00:55  会被淹死的鱼  阅读(785)  评论(0)  编辑  收藏  举报

已过时，无法使用

从网上找到一个脚本，修改了一下

#!/bin/bash

CURRENT_DIR=$(cd `dirname $0`; pwd)

[ -e $CURRENT_DIR/ncdc ] || mkdir $CURRENT_DIR/ncdc
[ -e $CURRENT_DIR/ncdc/files ] || mkdir $CURRENT_DIR/ncdc/files

for i in `seq 1901 2012`
do
    cd $CURRENT_DIR/ncdc/
    wget -r -np -nH .cut-dirs=3 -R index.html http://ftp3.ncdc.noaa.gov/pub/data/noaa/$i/
    cd pub/data/noaa/$i/
    cp *.gz $CURRENT_DIR/ncdc/files
    cd $CURRENT_DIR/ncdc/
    rm -r pub/
done