linux下定时清理flink数据

#!/bin/sh
use=`df|grep "/dev/vdb1"|awk '{print $5}'| sed 's/%//g'`
if [[ $use -gt 80 ]];then
        hdfs dfs -rm -r -skipTrash /user/admin/.flink
fi;

先编写好shell脚本，如果使用超过百分之80，则执行清理

然后设置定时任务

1.安装crontab
命令:yum install cixie-cron
yum install crontabs

2.开启crontab服务
service crond start //启动服务
service crond stop //关闭服务
service crond restart //重启服务
查看crontab服务状态：service crond status
3.设置脚本
命令行输入:crontab -e 进入后编写想要执行的脚本
*/1 * * * * /opt/clear.sh 每一分钟执行一次
*/5 * * * * /opt/clear.sh 每五分钟执行一次
0 */1 * * * /opt/clear.sh 每小时执行一次
30 1 * * * /opt/clear.sh 每天1:30执行一次

0 23-7/2，8 * * * 晚上11点到早上8点之间每两个小时和早上八点
0 11 4 * 1-3 每个月的4号和每个礼拜的礼拜一到礼拜三的早上11点
22 4 * * 0 每星期（周日凌晨4：22）执行
42 4 1 * * 每月（1号凌晨4：42）去执行

设置完后进行保存重新载入配置启动即可

 

补充：

用以下的方法启动、关闭这个cron服务： 
service crond start //启动服务 
service crond stop //关闭服务 
service crond restart //重启服务 
service crond reload //重新载入配置

查看crontab服务状态：service crond status 
手动启动crontab服务：service crond start 

 

查看crontab服务是否已设置为开机启动，执行命令：ntsysv 
加入开机自动启动: 
chkconfig –level 35 crond on

也可以用设置开机自动启动crond服务: 
[root@CentOS ~]# chkconfig crond on 

查看各个开机级别的crond服务运行情况 
[root@CentOS ~]# chkconfig –list crond 
crond 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭 
可以看到2、3、4、5级别开机会自动启动crond服务 
取消开机自动启动crond服务: 
[root@CentOS ~]# chkconfig crond off

 

设置需要执行的脚本 

新增调度任务可用两种方法： 
1)、在命令行输入: crontab -e 然后添加相应的任务，wq存盘退出。 
2)、直接编辑/etc/crontab 文件，即vi /etc/crontab，添加相应的任务。 
crontab -e配置是针对某个用户的，而编辑/etc/crontab是针对系统的任务 
查看调度任务 
crontab -l //列出当前的所有调度任务 
crontab -l -u jp //列出用户jp的所有调度任务 
删除任务调度工作 
crontab -r //删除所有任务调度工作 
直接编辑 vim /etc/crontab ,默认的文件形式如下：

 

 

 

 

 

 

前四行是有关设置cron任务运行的环境变量。

SHELL变量的值指定系统使用的SHELL环境(该样例为bash shell)，

PATH变量定义了执行命令的路径。Cron的输出以电子邮件的形式发给MAILTO变量定义的用户名。

如果MAILTO变量定义为空字符串(MAILTO="")，电子邮件不会被发送。执行命令或脚本时HOME变量可用来设置基目录。

 

文件/etc/crontab中每行任务的描述格式如下: 

 minute hour day month dayofweek command

 minute - 从0到59的整数

 hour - 从0到23的整数

 day - 从1到31的整数 (必须是指定月份的有效日期)

month - 从1到12的整数 (或如Jan或Feb简写的月份)

dayofweek - 从0到7的整数，0或7用来描述周日 (或用Sun或Mon简写来表示)

command - 需要执行的命令(可用as ls /proc >> /tmp/proc或 执行自定义脚本的命令) 

 

 root表示以root用户身份来运行

run-parts表示后面跟着的是一个文件夹，要执行的是该文件夹下的所有脚本

对于以上各语句，星号(*)表示所有可用的值。例如*在指代month时表示每月执行(需要符合其他限制条件)该命令。

 整数间的连字号(-)表示整数列，例如1-4意思是整数1,2,3,4

指定数值由逗号分开。如：3,4,6,8表示这四个指定整数。

符号“/”指定步进设置。“/<interger>”表示步进值。如0-59/2定义每两分钟执行一次。步进值也可用星号表示。如*/3用来运行每三个月份运行指定任务。 

 

以“#”开头的为注释行,不会被执行。