linux下定时清理flink数据

#!/bin/sh
use=`df|grep "/dev/vdb1"|awk '{print $5}'| sed 's/%//g'`
if [[ $use -gt 80 ]];then
        hdfs dfs -rm -r -skipTrash /user/admin/.flink
fi;

先编写好shell脚本,如果使用超过百分之80,则执行清理

然后设置定时任务

1.安装crontab
命令:yum install cixie-cron
yum install crontabs

2.开启crontab服务
service crond start //启动服务
service crond stop //关闭服务
service crond restart //重启服务
查看crontab服务状态:service crond status
3.设置脚本
命令行输入:crontab -e 进入后编写想要执行的脚本
*/1 * * * * /opt/clear.sh 每一分钟执行一次
*/5 * * * * /opt/clear.sh 每五分钟执行一次
0 */1 * * * /opt/clear.sh 每小时执行一次
30 1 * * * /opt/clear.sh 每天1:30执行一次
0 23-7/28 * * * 晚上11点到早上8点之间每两个小时和早上八点 0 11 4 * 1-3 每个月的4号和每个礼拜的礼拜一到礼拜三的早上11点 22 4 * * 0 每星期(周日凌晨4:22)执行 42 4 1 * * 每月(1号凌晨4:42)去执行

设置完后进行保存重新载入配置启动即可

 

补充:

用以下的方法启动、关闭这个cron服务: 
service crond start //启动服务 
service crond stop //关闭服务 
service crond restart //重启服务 
service crond reload //重新载入配置

查看crontab服务状态:service crond status 
手动启动crontab服务:service crond start 

 

查看crontab服务是否已设置为开机启动,执行命令:ntsysv 
加入开机自动启动: 
chkconfig –level 35 crond on

也可以用设置开机自动启动crond服务: 
[root@CentOS ~]# chkconfig crond on 

查看各个开机级别的crond服务运行情况 
[root@CentOS ~]# chkconfig –list crond 
crond 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭 
可以看到2、3、4、5级别开机会自动启动crond服务 
取消开机自动启动crond服务: 
[root@CentOS ~]# chkconfig crond off

 

设置需要执行的脚本 

新增调度任务可用两种方法: 
1)、在命令行输入: crontab -e 然后添加相应的任务,wq存盘退出。 
2)、直接编辑/etc/crontab 文件,即vi /etc/crontab,添加相应的任务。 
crontab -e配置是针对某个用户的,而编辑/etc/crontab是针对系统的任务 
查看调度任务 
crontab -l //列出当前的所有调度任务 
crontab -l -u jp //列出用户jp的所有调度任务 
删除任务调度工作 
crontab -r //删除所有任务调度工作 
直接编辑 vim /etc/crontab ,默认的文件形式如下:

 

 

 

 

 

 

前四行是有关设置cron任务运行的环境变量。

SHELL变量的值指定系统使用的SHELL环境(该样例为bash shell),

PATH变量定义了执行命令的路径。Cron的输出以电子邮件的形式发给MAILTO变量定义的用户名。

如果MAILTO变量定义为空字符串(MAILTO=""),电子邮件不会被发送。执行命令或脚本时HOME变量可用来设置基目录。

 

文件/etc/crontab中每行任务的描述格式如下: 

 minute hour day month dayofweek command

 minute - 从0到59的整数

 hour - 从0到23的整数

 day - 从1到31的整数 (必须是指定月份的有效日期)

month - 从1到12的整数 (或如Jan或Feb简写的月份)

dayofweek - 从0到7的整数,0或7用来描述周日 (或用Sun或Mon简写来表示)

command - 需要执行的命令(可用as ls /proc >> /tmp/proc或 执行自定义脚本的命令) 

 

 root表示以root用户身份来运行

run-parts表示后面跟着的是一个文件夹,要执行的是该文件夹下的所有脚本

对于以上各语句,星号(*)表示所有可用的值。例如*在指代month时表示每月执行(需要符合其他限制条件)该命令。

 整数间的连字号(-)表示整数列,例如1-4意思是整数1,2,3,4

指定数值由逗号分开。如:3,4,6,8表示这四个指定整数。

符号“/”指定步进设置。“/<interger>”表示步进值。如0-59/2定义每两分钟执行一次。步进值也可用星号表示。如*/3用来运行每三个月份运行指定任务。 

 

以“#”开头的为注释行,不会被执行。

吾生也有涯,而知也无涯。 个人博客:www.hkgov.cn 个人空间:www.ccav9.cn
posted @ 2020-11-04 17:21  HkGov  阅读(339)  评论(0编辑  收藏  举报