利用awk分析nginx日志的linux方法 (linux awk nginx日志分析)

利用awk分析nginx日志的Linux方法

随着Web应用的不断发展，Nginx作为一种高性能、高可扩展性的Web服务器，被广泛使用，同时Nginx也具有丰富的日志记录功能。利用Nginx日志文件，我们可以更好地了解网站访问情况，并通过分析日志文件来进行优化。在Linux系统中，我们可以使用awk来解析Nginx日志文件，下面介绍如何使用awk进行分析。

1. 配置Nginx的日志格式

我们需要在Nginx的配置文件中定义日志格式。打开nginx.conf文件，在http段中添加以下配置：

log_format mn ‘$remote_addr – $remote_user [$time_local] “$request” ‘

‘$status $body_bytes_sent “$http_referer” ‘

‘”$http_user_agent” “$http_x_forwarded_for”‘;

这里定义了名为mn的日志格式，该格式包括了远程访问IP、远程用户、请求时间、请求信息、HTTP状态码、返回字节数、来源地址、浏览器UA以及HTTP X-Forwarded-For头。

2. 生成Nginx日志文件

在Nginx启动时，我们需要在配置文件中指定访问日志和错误日志的位置。通过以下配置可以将访问日志写入到access.log文件中：

access_log /var/log/nginx/access.log mn;

当然，我们也可以在运行中更改Nginx的日志配置以实现控制日志记录的精度和量。

3. 通过awk分析Nginx日志文件

在Linux系统中，我们可以通过awk命令解析Nginx日志文件。awk是一种文本处理工具，用于在大量文本数据中查找与处理信息。在Nginx日志文件中，每一行记录代表一个用户访问请求，其中包含了请求的各种信息，例如：远程IP地址、访问时间、请求方式、请求路径、HTTP状态码等等。下面是一个简单的示例来演示通过awk分析Nginx日志文件：

1) 统计访问量

awk ‘{print $1}’ /var/log/nginx/access.log | sort | uniq -c | sort -nr

该命令可以输出访问量更高的IP地址列表，每一行记录代表一个IP地址和该IP地址对应的访问次数。例如：

123 192.168.1.101

101 192.168.1.102

83 192.168.1.103

这表明IP地址192.168.1.101最活跃，访问量为123次。该命令中的$1表示以空格为分隔符，将每行日志文件中的之一个字段（即IP地址）输出。

2) 统计访问频率

awk ‘{print $4}’ /var/log/nginx/access.log | cut -c 2-12 | sort | uniq -c | sort -nr

该命令可以输出访问频率更高的时间段列表，每一行记录代表一个时间段和该时间段对应的访问次数。例如：

6768 27/Mar/2023:08

5906 27/Mar/2023:09

5355 27/Mar/2023:10

这表明在2023年3月27日的8点最为活跃，访问次数为6768次。该命令中的$4表示以空格为分隔符，将每行日志文件中的第四个字段（即访问时间）输出，而cut命令则提取出访问时间中的天、月、年等信息。

3) 统计访问请求方式

awk ‘{print $6}’ /var/log/nginx/access.log | sort | uniq -c | sort -nr

该命令可以输出访问请求方式更高的列表，每一行记录代表了一种访问请求方式和该访问方式对应的访问次数。例如：

15673 GET

320 POST

17 HEAD

这表明大部分访问请求方式为GET，而POST和HEAD请求没有被经常使用。该命令中的$6表示以空格为分隔符，将每行日志文件中的第六个字段（即请求方式）输出。

4) 统计访问请求路径

awk ‘{a[$7]++} END {for(i in a) print a[i],i}’ /var/log/nginx/access.log | sort -rn | head -n 10

该命令可以输出访问请求路径访问次数最多的前10条路径记录，每一行记录代表一种路径和该路径对应的访问次数。例如：

301456 /index.php

278931 /wp-login.php

263870 /wp-admin/plugins.php

这表明在该网站中最常见的页面是index.php和wp-login.php，这些页面同时也是各种恶意攻击的主要目标。该命令中的$7表示以空格为分隔符，将每行日志文件中的第七个字段（即请求路径）统计到数组a中，并在最后输出所有的路径访问次数信息。

熟练使用awk和其他Linux命令对Nginx日志进行分析，可以帮助我们更深入地了解网站的访问情况，同时也可以发现安全隐患和进行站点优化。

相关问题拓展阅读：

• Nginx日志切割方法（包含docker容器中nginx日志的切割）

Nginx日志切割方法（包含docker容器中nginx日志的切割）

logrotate软件简介

logrotate 是一个 Bash 的 SHELL 脚本，可对日志文件进行切分，并将切分后的日志放在统一目录。

logrotate 要求 GNU bash、GNU gzip 和 GNU date。

logrotate 实用程序旨在简化在生成大量日志文件的系统上对日志文件的管理。允许自动循环压缩，删除和邮寄日志文件。可以将logrotate设置为每小时、每天、每周、每月或当日志文件达到一定大小时处理日志文件。

一般来说，logrotate是linux自带的服务，根据不同日志服务配置独立的

配置文件

，一般是在/etc/logrotate.d。

切割nginx日志的配置文件内容如下：(nginx安装在宿主机上)

切割nginx日志的配置文件内容如下：(nginx安装在docker容器上)

脚本说明：

“nginx”为容器名称，可以按实际调整

文件中“/var/log/nginx/”为nginx日志默认目录，由于在nginx.conf文件中可以调整日志目录，所以需要跟据需求调整。

检测命令：

logrotate -d -f /etc/logrotate.d/docker_nginx

手动执行命令：

logrotate -f /etc/logrotate.d/docker_nginx

配置自定义的crontab任务

把 logrotate 的任务计划删掉，在每天凌晨00:00进行切割nginx日志

logrotate参数：

关于linux awk nginx日志分析的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。

香港服务器首选树叶云，2H2G首月10元开通。
树叶云（shuyeidc.com）提供简单好用，价格厚道的香港/美国云服务器和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。