hdfs删除过期文件

hdfs删除过期文件方法

注意arr[11]随目录变化，看日期那一栏在目录 split($8,arr,"/") 的哪一列

#remove old model
old_version=$(hdfs  dfs  -ls hdfs://bj04-region09/region09/11127/app/develop/11102998/browser-web-related-search-v1/model 
| awk 'BEGIN{ five_days_ago=strftime("%F", systime()-4*24*3600)}{split($8,arr,"/"); if(arr[11]<five_days_ago){printf "%s\n",$8}}')

arr=(${old_version// /})
for version in ${arr[@]}
do
	hdfs dfs -rm -r  $version
done