如何在Linux 上实现定时任务的分页执行
定时任务是Linux 系统管理员经常用到的一种任务调度方式，可以让系统按照预设的时间自动进行一系列任务的执行。但是对于大量数据处理的任务而言，一次性执行可能会过于耗时，导致系统资源占用过多，甚至出现程序崩溃等情况。因此，如何在Linux 上实现定时任务的分页执行成为一项具有实用价值的技术。
一、什么是定时执行任务
在Linux 上，定时执行任务是通过Cron服务来实现的。Cron 服务是一个用于定时执行程序或脚本的守护进程，它会在指定的时间自动执行指定的任务。 Cron 服务的配置文件为“/etc/crontab”和“/etc/cron.d/”，大部分的Linux 发行版都默认包含了Cron 服务。
在Cron 服务中，用户可以通过命令行输入如下的命令行指令来编写一个定时任务：
$ crontab -e
在编辑器中输入以下内容后保存退出即可：
* * * * * /path/to/your/command
这个任务会每分钟执行一次。
二、如何实现定时任务的分页执行
对于需要处理大规模数据的任务，如何分页执行成为一个重要的问题。以日志分析为例，如果一天的日志文件有几百GB 的大小，一次性处理不仅效率低下，而且容易出现内存占用过多，系统负载过重等问题。因此，我们需要将这个任务分隔成多个小任务，并分页执行，以达到高速处理的目的。
1.分页处理数据
将大规模的数据分页处理成小文件，通常我们将大文件按照规定的页数分解成多个小文件，然后分页进行处理。
假设我们需要处理一个20GB 的日志文件，我们可以将其分成100个小文件，每个小文件大小为200MB ，同时我们限制每次处理5个小文件（也就是1GB 的数据）。
$ split -b 200M logfile.log
$ ls
logfile.log xaa xab xac ……..xaz
这样我们就将其中一个20GB 的日志文件分成了100个200MB 的文件，文件名从xaa-xaz ，接下来就可以开始分页进行处理。
2.使用Shell 脚本进行分页执行
当我们需要将大规模数据分页处理时，我们可以编写Shell 脚本。通常，我们需要将每个小文件（页）文件名进行传递，并在脚本中按顺序执行每一页。在每一页处理完毕后，我们需要将处理结果记录在一个日志文件中。我们需要将所有数据处理的日志文件打包成一个文件，方便存储与查看。
#!/bin/sh
# 该脚本用于按页执行指定任务
# 定义日志文件名称及路径
logfile=task.log
logpath=/var/log/
# 定义数据文件路径
datapath=/data/
# 定义每页数据文件的大小（字节数）
split_size=202315200
# 获取所有小数据文件
filelist=`ls $datapath`
# 记录处理过的页数
pagenum=0
# 每次处理5页数据
process_page=5
# 开始分页执行
for pagefile in $filelist
do
echo $(date ‘+%Y-%m-%d %H:%M:%S’) “开始处理数据：” $pagefile >> $logpath/$logfile
# 处理当前数据页
process_stuff $datapath/$pagefile
# 记录处理数据的日志
echo $(date ‘+%Y-%m-%d %H:%M:%S’) “处理数据：” $pagefile “成功！” >> $logpath/$logfile
# 更新已经处理的页数
let pagenum+=1
# 判断是否需要休眠
if [ $(($pagenum%$process_page)) -eq 0 ]; then
sleep 1m
echo $(date ‘+%Y-%m-%d %H:%M:%S’) “休眠1分钟” >> $logpath/$logfile
fi
done
# 打包所有的处理日志
tar -zcf result.tar.gz $logpath/*.log
3.编写定时任务
编写完成Shell 脚本后，我们需要在Cron 中添加定时任务。通常我们将任务分页执行时间设置为凌晨，以避免影响系统的正常使用。
# 每天凌晨1点开始执行分页任务
0 1 * * * /data/run-task.sh
4.启动Cron 服务并查看脚本执行记录
我们在Cron 中添加了新的任务后，需要启动Cron 服务，只需要输入以下命令：
$ systemctl start cron
同时我们可以查看Cron 执行记录并检查指定任务是否按分页执行。通过以下命令可以查看所有用户的Cron 记录：
$ grep CRON /var/log/syslog
在执行完以上命令后，我们可以在日志记录中找到对应的任务执行记录。
结论：
以上就是如何在Linux 上实现定时任务的分页执行。在进行大规模数据处理时，我们可以通过使用Shell 脚本和Cron 服务，将数据任务分成多个小任务进行分页处理，以大幅提高处理的效率，同时避免出现内存泄漏和系统负载过重等情况。
相关问题拓展阅读：
- Linux crontab怎么定时执行任务
- linux使用crontab实现PHP执行计划定时任务
Linux crontab怎么定时执行任务
crontab 需要由root用户部署，“su – ” 切换到root；
”crontab -e” 进入crontab 编辑状态；
输入” * * * * * /usr/bin/bash /home/ganlin/ganlin.sh”， 这代表每秒执行一次脚本。
部署完成后 输入 ”crontab -l” 查看crontab 中所有部裤稿署的内容；
脚本更好不要放在/home目录下，行纯老可以在脚本中档升写入一行标准输出用来在部署完成后测试结果用。
“> /dev/null 2>&1“ 这样写得结果是就看不到标准输出了， /dev/null 代表一个虚拟的设备 把标准输出写到一个不存在的设备中去了。
linux使用crontab实现PHP执行计划定时任务
首先说说cron,它是一个linux下的定时执行工具。根用户以外的用户可以使用
crontab
工具来配置
cron
任务。所有用户定义的
crontab
都被保存在/var/spool/cron
目录中，并洞滑衡使用创建它们的用户身份来执行。要以某用户身份创建一个
crontab
项目，登录为该用户，然后键入
crontab
-e
命令来编辑该用户的
crontab。该文件使用的格式和
/etc/crontab
相同。当对
crontab
所做的改变被保存后，该
crontab
文件就会根据该用户名被保存，并写入文件
/var/spool/cron/username
中。cron
守护进程每分钟都检查
/etc/crontab
文件、etc/cron.d/
目录、以及
/var/spool/cron
目录中的改变。如果发现了改变，它们就会被载入内存。这样，当某个
crontab
文件改变后就不必重新启动守护进程了。
安装crontab:
yum
install
crontabs
说明：
/in/service
crond
start
//启动服务
/in/service
crond
stop
//关闭服务
/in/service
crond
restart
//重启服务
/in/service
crond
reload
//重新载入配置
查看crontab服务状态：service
crond
status
手动启动crontab服务：service
crond
start
查看crontab服务是否已设置为开机启动，执行命令：ntsysv
加入开机自动启动:
chkconfig
–level
crond
on
crontab命令：
功能说明：设置计时器。
语 法：crontab
>
或
crontab
>
补充说明：cron是一个常驻服务，它提供计时器的功能，让用户在特定的时间得让渣以执行预设的指令或程序。只要用户会编辑计时器的配置文件，就可以使
用计时器的功能。其配置文件格式如下：
Minute
Hour
Day
Month
DayOFWeek
Command
参 数：
-e
编辑该用户的计时器设置。
-l
列出该用户的计时器设置。
-r
删除该用户的计时器设置。
-u
指定要设定计时器的用户名称。
crontab
格式：
基本格式
:
分钟
小时
日
月
星期
命令
*
*
* 纳做
*
*
*
第1列表示分钟1～59
每分钟用*或者
*/1表示
第2列表示小时1～23（0表示0点）
第3列表示日期1～31
第4列
表示月份1～12
第5列标识号星期0～6（0表示星期天）
第6列要运行的命令
记住几个特殊符号的含义:
“*”代表取值范围内的数字,
“/”代表”每”,
“-”代表从某个数字到某个数字,
“,”分开几个离散的数字
#
Use
the
hash
sign
to
prefix
a
comment
#
+—————-
minute
(0
–
59)
#
|
+————-
hour
(0
–
23)
#
|
|
+———-
day
of
month
(1
–
31)
#
|
|
|
+——-
month
(1
–
12)
#
|
|
|
|
+—-
day
of
week
(0
–
7)
(Sunday=0
or
7)
#
|
|
|
|
|
#
*
*
*
*
*
command
to
be
executed
crontab几个例子如下：
（1）之一个例子。
*
*
*
/etc/init.d/nginx
restart
每晚的21:30重启
nginx。
（2）第二个例子，也就是本教程测试的例子
*
*
*
*
*
/usr/bin/php
-f
/root/test.php
>>
test.log
每一分钟执行/root/test.php文件，将结果输出到test.log中。
完成了上面基础工作后，就来看看怎么使用crontab定时执行PHP脚本：
（1）我在/root下新建test.php文件，内容如下：
复制代码
代码如下:
说明：你可以用whereis
php查找php执行文件位置。
（2）然后crontab
-e编写如下shell:
复制代码
代码如下:
*
*
*
*
*
/usr/bin/php
-f
/root/test.php
>>
test.log
说明：test.php必须为可执行文件：chmod
+x
test.php
测试结果很正常，截图如下：
当然你可以用使用crontab
-e继续添加任务，在/var/spool/cron下你可以看到一个root文件。
关于linux定时任务分页执行的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。
香港服务器首选树叶云，2H2G首月10元开通。
树叶云（shuyeidc.com）提供简单好用，价格厚道的香港/美国云服务器和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。
文章来源网络，作者：运维，如若转载，请注明出处：https://shuyeidc.com/wp/176659.html<
