Hadoop权威指南获取NCDC的气温数据

1 #!/bin/bash
for i in {1901..2014}
do
cd /home/xxxx/hapood/ncdc
wget --execute robots=off -r -np -nH --cut-dirs=4 -R index.html* ftp://ftp.ncdc.noaa.gov/pub/data/gsod/$i/
done

创建 

$vi getbigdata.sh

导入上述代码。

$ ./getbigdata.sh 运行脚本

CentOs中，之前没有使用过Wget，会出现 无法识别wget的错误提示。

 

使用yum命令

sudo yum install wget

自动安装完成之后 再次运行脚本。