ICode9

精准搜索请尝试: 精确搜索
首页 > 系统相关> 文章详细

linux 定时删除文件夹的的内容 (find && crontab 使用)

2020-05-31 19:58:12  阅读:284  来源: 互联网

标签:文件 crontab cron && linux var 定时 find


Jenkins 跑的回归结果太多,清理不及时,老是爆盘。
可以通过shell 脚本写一个清理的小程序,然后通过 crontab -e 来设置程序自动运行时间
1 因为我要删除的是整个文件夹,所以,shell 内容如下:

!/bin/sh

find /project/project_name/run/ -maxdepth 1 -type d -mtime +1 |xargs rm -rf

如果想要删除某些问价而不是文件夹,内容如下:
find /project/project_name/run/ -type f -mtime +1 -name "*" -exec rm -rf {} ;
2 此时运行shell 脚本只是可以清理文件,如何让它定时运行:Linux terminal 下:
crontab -e // crontab:定时任务的守护进程,精确到分
40 18 * * * sh /shell_dir // 40 40分钟, 18 表示18:00, 这句话意思是每天18:40运行shell 脚本

以下是对于find 和crontab 的解释
find 转载自 https://www.cnblogs.com/johnnyliu/archive/2013/04/09/3010384.html
linux中的find的命令查找文件的重要方式,辅以其他的bash命令可以实现强大的操作效果。
先看看放find命令的基本组成:
find pathname -option [-print -exec -ok ...]
分类记忆各项属性参数~
  pathname:指定find命令的查询根路径,例如 ‘ / ’,‘./ ' 等。
        同时还可在-path参数中指定搜索路径。
  -option:
   1、文件操作:
         -name 用引号” “将查询的文件名括起来,可适用于简单的正则表达式(应改为shell的元字符,下同)。
         -type  指定查找文件的类型
              b - 块设备文件。
              d - 目录。
              c - 字符设备文件。
              p - 管道文件。
              l - 符号链接文件。
              f - 普通文件。  
         -size n 指定文件大小,若数字前+表示大于,-表示小于;常用单位c(字节),k(KB),M(MB)
   2、用户权限:
         -perm 用户权限permission,用常用的三位数字,如644表示权限。若数字前+表示至少包括指定的一种访问权限,-表示必须包括指定的所有访问权限
         -user / -nouser  按文件属主查询 / 查找无有效属主的文件
         -group / -nogroup 按文件所属租来查 / 查找无有效所属租的文件 
   3、时间选项:
         -atime / -amin n 最近访问(accessed)过的文件,前者表示单位是天(24h),后者单位是分钟(minute);若数字前+表示n段时间前,-表示最近n段时间。后同。
         -ctime / -cmin n 最近状态改变(changed)过的文件  
         -mtime / -mmin n 最近内容修改(modified)过的文件 
         -newer file!otherfile 查找更改时间比file新的文件,加上非(!)则查找比otherfile旧的文件  
(注意,逻辑符号包括!(not)、-a(and)、-o(or),在命令中都是短路求值,简单讲就是若后面的参数不影响逻辑判断,则不对后面求值。在find命令中一般在选项之前添加逻辑符号)
  4、文件路径:
         -follow 遇到符号链接文件,就跟踪到链接指向的文件
         -mount 不跨越文件系统的mount点,即在当前的文件系统查询,不进入其他文件系统(如挂载的windows系统)
         -path 给出文件路径,可在路径中查询,满足简单正则表达式(元字符)。例如查找当前路径中' ./var/www '子目录中的’ index.html ’ 文件:
$ find . -path './var/www*' -name 'index.html' -print
./var/www/learn/study_smarty/templates/index.tpl
./var/www/learn/study_smarty/docs/index.php
./var/www/learn/index.php
./var/www/index.html
(结果中可以看到,-path选项中的参数要为模糊的查询条件,我理解的-path选项查找出的文件名实际上是带路径的字符串,而-path中则是满足结果字符串中的前面的路径字符。)
         -prune 指出要忽略的目录。 结合-path选项,例如在当前目录下查找‘ index.html ’文件,同时忽略路径下的‘ /www/bin ’目录:
$ find . -path './www/bin' -prune -o -name 'index.html' -print
-path “./www/bin” -prune -o -name 'index.html' -print 是 -path “./www/bin” -a -prune -o -name 'index.html' -print 的简写表达式。按顺序求值,-a 和 -o 都是短路求值,与 shell 的 && 和 || 类似如果 -path “./www/bin” 为真,则求值 -prune , -prune 返回真,“与”逻辑表达式为真;否则不求值 -prune,与逻辑表达式为假。如果 -path “/usr/sam” -a -prune 为假,则求值 -name。-name返回真,“或”逻辑表达式为真;否则不求值 -name,“或”逻辑表达式为真。
(因此,其他的查询条件必须放在-o之后!而-path选项一般放在最前,-prune和-o也要连用)
避开多个文件可以用:
$ find /usr (-path /usr/dir1 -o -path /usr/dir2 ) -prune -o -name "index.html" -print
‘ (’ 与 ‘ ) ’ 表示转义,及shell不再对括号做特殊解释,这里转义后的括号表示结合。
(注意,路径后不能在加 ‘/’ 号!)
         -depth 先匹配所有的文件,再在子目录中查找。即广度遍历查询。注意加上-depth选项后,-prune选项失效。
         -maxdepth n  设定递归搜索的目录层级,1为在当前目录下,即不递归搜索。
   5、查询执行:
         -exec command {} ; 对查询的结果文件执行command 命令,{}中就包含着查询结果。
         -ok command {} ; 与-exec有着相同的操作,不同的是,在执行command命令时会有交互提示你是否执行,是一种相对安全的做法。
在使用find命令的-exec选项处理匹配到的文件时, find命令将所有匹配到的文件一起传递给exec执行。但有些系统对能够传递给exec的命令长度有限制,这样在find命令运行几分钟之后,就会出现溢出错误。错误信息通常是“参数列太长”或“参数列溢出”。在有些系统中,使用-exec选项会为处理每一个匹配到的文件而发起一个相应的进程,并非将匹配到的文件全部作为参数一次执行;这样在有些情况下就会出现进程过多,系统性能下降的问题,因而效率不高。转
         xargs 与pipe连用,对匹配的文件执行操作。
find命令把匹配到的文件传递给xargs命令,而xargs命令每次只获取一部分文件而不是全部,不像-exec选项那样。这样它可以先处理最先获取的一部分文件,然后是下一批,并如此继续下去。使用xargs命令则只有一个进程。转
例如,在当前路径下的普通文件中搜索‘ admin ’:
$ find . -type f -print | xargs grep 'admin'
对于一个参数的命令,xargs隐含传递匹配文件,如上述grep files,将结果隐含传递给files。如是多参数命令,如cp file dir,则要利用xargs的 -i 选项,例如将上述查询的问价copy至‘ /usr ’:
$ find . -type f -print | xargs -i cp {} /usr/
加上 -i 选项后,xargs将匹配的结果传递给 {} ,这样就方便多参数命令的使用了。

对于crontab 的解释: 转载自https://www.cnblogs.com/ftl1012/p/crontab.html

usage: crontab [-u user] file
crontab [-u user] [ -e | -l | -r ]
(default operation is replace, per 1003.2)
-e (edit user's crontab)
-l (list user's crontab)
-r (delete user's crontab)
-i (prompt before deleting user's crontab)
-s (s定时任务分类

Linux下的任务调度分为两类,系统任务调度和用户任务调度。
系统任务调度:系统周期性所要执行的工作,比如写缓存数据到硬盘、日志清理等。
在/etc/crontab文件,这个就是系统任务调度的配置文件。
用户任务调度:用户定期要执行的工作,比如用户数据备份、定时邮件提醒等。
用户可以使用 crontab 工具来定制自己的计划任务。
在crontab 文件都被保存在/var/spool/cron目录中。其文件名与用户名一致
1.系统定时任务:例如清理系统日志,清理系统缓存 -->不过多的关注
查询系统定时处理任务的路径:
路径1:
cd /etc/logrotate.d/ -->可以写定时任务
less syslog
路径2:
cat /etc/crontab -->不推荐使用,但是可以看格式
路径3:
ls /etc/ | grep cron*
anacrontab
cron.d -->同路径2 ,可以写定时任务
cron.daily
cron.deny -->控制普通用户使用定时任务crontab
cron.hourly
cron.monthly
crontab
cron.weekly
2.用户的定时任务 -->关注重点
crontab文件内容分析
cat /etc/crontabelinux context)

星号(*):代表所有可能的值,如month字段为星号,则表示在满足其它字段的制约条件后每月都执行该命令操作。
逗号(,):可以用逗号隔开的值指定一个列表范围,例如,“1,2,5,7,8,9”
中杠(-):可以用整数之间的中杠表示一个整数范围,例如“2-6”表示“2,3,4,5,6”
正斜线(/):可以用正斜线指定时间的间隔频率,例如“0-23/2”表示每两小时执行一次。
小 结:
数字的表示最好用2为阿拉伯数字显示
周和日最好不要同时用
定时任务要加注解
可以定向到日志文件或者空文件
定时任务一定是绝对路径,且目录必须存在才能出结果
crontab 服务一定要开启运行
crontab日志路径

【日志是按照天排列的】

ll /var/log/cron*
/var/log/cron只会记录是否执行了某些计划的脚本,但是具体执行是否正确以及脚本执行过程中的一些信息则linux会每次都发邮件到该用户下。

常用的命令展示
安装crontab:
1
yum install crontabs
crontab服务操作说明:
1
2
3
4
5
6
7
/sbin/service crond start //启动服务

/sbin/service crond stop //关闭服务

/sbin/service crond restart //重启服务

/sbin/service crond reload //重新载入配置
查看crontab服务状态:
1
service crond status
手动启动crontab服务:
1
service crond status
查看crontab服务是否已设置为开机启动,执行命令:
1
2
方法一: 界面启动 ntsysv
方法二: 加入开机自动启动: chkconfig –level 35 crond on
crontab -l查看定时任务列表
编辑定时任务
1
crontab –e
1
==》vim /var/spool/cron/root
每隔2分钟输出时间到文件
1
*/2 * * * * echo date >> $HOME>test.txt
crontab -r 删除定时任务
1
2
3
==> 从/var/spool/cron目录中删除用户的crontab文件
==> 如果不指定用户,则默认删除当前用户的crontab文件
crontab –i 在删除用户的crontab文件时给确认提示
备份crontab文件
1
crontab -l > $HOME/mycron

恢复丢失的crontab文件
1
2
3
如果不小心误删了crontab文件,假设你在自己的$ H O M E目录下还有一个备份,那么可以将其拷贝到/var/spool/cron/,其中是用户名。如果由于权限问题无法完成拷贝,可以用:
crontab 其中,是你在$ H O M E目录中副本的文件名。
有些crontab的变体有些怪异,所以在使用crontab命令时要格外小心。如果遗漏了任何选项,crontab可能会打开一个空文件,或者看起来像是个空文件。这时敲delete键退出,不要按,否则你将丢失crontab文件。
每小时执行/etc/cron.hourly目录内的脚本
0 * * * * root run-parts /etc/cron.hourly
每隔2分钟同步一次互联网时间
echo "*/2 * * * * /usr/bin/ntpstat time.windows.com >/dev/null 2>&1" >> /var/spool/cron/root

每天3-5,17-20每隔30分钟执行一次脚本
echo "*/30 [3-5],[17-20] * * * /bin/sh /home/omc/h.sh >/dev/null 2>&1" >> /var/spool/cron/root

当天23点,第二天0点到凌晨7点 每隔1分钟执行一次脚本

  • 23,00-07/1 * * * /bin/sh /home/omc.h.sh

每年的4月份每周的周一到周三的11点执行脚本

00 11 * 4 1-3 /bin/sh /home/omc/h.sh
crontab的注意事项

  1. 注意环境变量问题
    在crontab文件中定义多个调度任务时,需要特别注意的一个问题就是环境变量的设置

脚本中涉及文件路径时写全局路径;

脚本执行要用到java或其他环境变量时,通过source命令引入环境变量,如:

cat start_cbp.sh

!/bin/sh

source /etc/profile
export RUN_CONF=/home/d139/conf/platform/cbp/cbp_jboss.conf
/usr/local/jboss-4.0.5/bin/run.sh -c mev &

当手动执行脚本OK,但是crontab死活不执行时。可以尝试在crontab中直接引入环境变量解决问题。

0 * * * * . /etc/profile;/bin/sh /var/www/java/audit_no_count/bin/restart_audit.sh
2. 系统级任务调度与用户级任务调度

root用户的任务调度操作可以通过“crontab –uroot –e”来设置,也可以将调度任务直接写入/etc/crontab文件,需要注意的是,如果要定义一个定时重启系统的任务,就必须将任务放到/etc/crontab文件,即使在root用户下创建一个定时重启系统的任务也是无效的。
3.其他注意事项

当crontab突然失效时,可以尝试/etc/init.d/crond restart解决问题。或者查看日志看某个job有没有执行/报错tail -f /var/log/cron。
千万别乱运行crontab -r。它从Crontab目录(/var/spool/cron)中删除用户的Crontab文件。删除了该用户的所有crontab都没了。
在crontab中%是有特殊含义的,表示换行的意思。如果要用的话必须进行转义%,如经常用的date ‘+%Y%m%d’在crontab里是不会执行的,应该换成date ‘+%Y%m%d’
4. 生产调试定时任务

1.增加执行任务的频率调试
2.调整系统时间调试任务,提前5分钟 -->不用于生产环境
3.通过脚本日志输出调试定时 任务
4.注意一些任务命令带来的问题 -->确保命令的正确性
5.crontab箴言
1.环境变量问题,例如crontab不能识别Java的环境变量
crontab执行shell时,只能识别为数不多的环境变量,普通的环境变量是无法识别的,所以在编写shell时,最好使用export重新声明变量,确保脚本执行。
2.命令的执行最好用脚本
3.脚本权限加/bin/sh,规范路径/server/scripts
4.时间变量用反斜线转义,最好用脚本
5.定时任务添加注释
6.>/dev/null 2>&1 ==>&>/dev/null,别随意打印日志文件
7.定时任务里面的程序脚本尽量用全路径
8.避免不必要的程序以及命令输出
9.定时任务之前添加注释
10.打包到文件目录的上一级

标签:文件,crontab,cron,&&,linux,var,定时,find
来源: https://www.cnblogs.com/yanli0302/p/13020970.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有