Linux后台日志记录的重要性 (linux back log)

随着计算机技术的飞速发展，Linux操作系统逐渐成为最为流行的操作系统之一，被广泛应用于服务器、数据库、虚拟化、等领域。随着Linux应用场景不断扩大，人们越来越关注和必要性。

一、Linux后台日志记录的概念

Linux后台日志记录是指在Linux操作系统运行期间，将系统和应用程序所产生的信息记录下来，以备后续查询和管理。它可以帮助我们了解系统的运行状态，排查问题，提高服务器的可靠性和稳定性。

二、Linux后台日志的种类

在Linux操作系统中，产生的日志主要可以分为四类：

1.系统日志：用于记录系统级别的信息，比如启动信息、错误信息、用户登录信息等。

2.应用日志：用于记录应用程序级别的信息，比如Web服务器日志、数据库日志等。

3.安全日志：用于记录系统安全相关的信息，比如用户登录、用户操作等。

4.内核日志：用于记录内核级别的信息，通常用于调试内核问题。

三、Linux后台日志记录的目的和好处

1. 辅助问题排查：通过分析日志记录，可以清晰地了解系统发生的问题，从而更好地为用户解决问题。

2. 改善系统性能：通过监控和分析日志记录，可以优化系统性能，使其更加高效和稳定。

3. 提高系统安全性：日志记录可以帮助我们监控系统安全事件，及时发现异常行为。

4. 保留历史记录：日志记录是一种历史记录，可以了解系统运行的历程，对于未来的分析和决策有极大的价值。

四、如何配置Linux后台日志记录

在Linux平台上，可以通过系统日志服务 syslogd 或者 rsyslogd 来管理日志。通过配置 rsyslogd 服务，可以实现日志文件的多样化记录方式，例如直接输出到终端、输出到文件、传输到日志服务器等多种方式。

配置 rsyslogd 可以选择使用 syslog-ng 和syslogd的替代品rsyslogd，rsyslogd是一个高性能的syslog守护程序，它允许可以将日志转发到远程目标或者输出到指定的日志文件,还支持日志的过滤、分类、丢弃等操作。

在Linux平台中，通常将日志文件保存至 /var/log 目录下。我们可以通过修改 /etc/rsyslog.conf 文件来控制日志文件的目录和文件名格式。同时，在完成日志记录之后，我们还可以使用工具例如logrotate来进行日志文件轮转和清理，以避免日志文件过度堆积而导致系统负担过大，甚至引发文件系统故障或者数据安全风险。

五、Linux后台日志记录存在的挑战

随着Linux应用场景的不断扩大，日志文件规模和日志记录速率也在不断增长，产生了以下挑战：

1. 存储和管理的挑战：日志文件规模大，存储和管理会带来一定的存储负担和管理成本。

2. 查询和分析的挑战：日志记录的数目多，实时查询和分析日志记录需要花费大量人工和计算资源。

以上挑战需要通过合理的日志管理策略和工具来解决。例如我们可以使用日志服务的传输、缓存、索引和搜索等功能，以便于查询和分析区分日志。而使用开源日志服务软件 ELK Stack 可以郇惠改进日志查询、分析、可视化能力，ELK Stack 由 Elasticsearch、Logstash、Kibana三个开源软件组成，能很好地解决存储、查询、分析日志的问题，并支持集群模式和高可用部署，大幅提高日志管理效率和可靠性。

六、

Linux后台日志记录是一项非常重要的工作，可以帮助我们更好的管理和优化系统，提高系统的可靠性和安全性。同时，良好的日志记录也需要合理的管理策略和工具支持。希望本文能对大家理解和配置Linux后台日志记录有所帮助。

相关问题拓展阅读：

• Linux系统如何抵御TCP洪水攻击
• 畅谈linux下TCP（上）

Linux系统如何抵御TCP洪水攻击

#最关键指简参数，默认为5，修改为0 表示不要重发

net.ipv4.tcp_synack_retries = 0

#半连接队列长度

net.ipv4.tcp_max_syn_backlog =

#系统允许的文件句销逗棚柄的更大数目，因为连接需要占用文件句柄

fs.file-max =

#用来应对突发的大并发connect 请求

net.core.somaxconn = 65536

#更大的TCP 数据接收缓冲（字节）

net.core.rmem_max =

#更大的TCP 数据发送缓冲（字节）

net.core.wmem_max =

#网络设备接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的更大数目

net.core.netdev_max_backlog =

#本机主动连接其他机器时的端口分配范围

net.ipv4.ip_local_port_range =

为了处理大量连接，还需改大另一个参数：

# vi /etc/security/limits.conf

在底下添加一行表示允亏则许每个用户都更大可打开409600个文件句柄（包括连接）：

*– nofile

畅谈linux下TCP（上）

tcp 协议 是互联网中最常用的协议 ， 开发人员基本上天天和它打交道，对它进行深入了解。 可以帮助我们排查定位bug和进行程序优化。下面我将就TCP几个点做深入的探讨

客户端：收到 ack 后 分配连接资源。 发送数据

服务器 : 收到 syn 后立即 分配连接资源

客户端：收到ACK， 立即分配资源

服务器：收到ACK， 立即分配资源

既然三次握手也液银颤不是100%可靠， 那四次，五次，六次。。。呢? 其实都一样，不管多少次都有丢包问题。

client 只发送一个 SYN， server 分配一个tcb， 放入syn队列中。 这时候连接叫

半连接

状态；如果server 收不到 client 的ACK， 会不停重试 发送 ACK-SYN 给client 。重试间隔 为 2 的 N 次方 叠加（2^0 , 2^1, 2^2 ….）；直至超时才释放syn队列中的这个 TCB;

在半连接状态下， 一方面会占用队列配额资源，另一方面占用内存资源。我们应该让半连接状态存在时间尽可能的小

当client 向一个未打开的端口发起连接请求时，会收到一个RST回复包

当listen 的 backlog 和 somaxconn 都设置了得时候， 取两者min值

Recv-Q 是accept 队列当前个数， Send-Q 设置更大值

这种SYN洪水攻击是一种常见攻击方式，就是利用半连接队列特性，占满syn 队列的 资源，导致 client无法连接上。

解决方案:

为什么不像握手那样合并成三次挥手? 因为和刚开始连接情况，连接是大家都从0开始， 关闭时有历史包袱的。server(被动关闭方) 收到 client(主动关闭方) 的关闭请求FIN包。 这时候可能还有未发送完的数据，不能丢弃。 所以需要分开。事实可能是这样

当然，在没有待发数据，并且允许 Delay ACK 情况下， FIN-ACK合并还是非常常见的事情，这是三次挥手是可以的。

同上

CLOSE_WAIT 是被动关闭方才有的状态

。

被动关闭方 到 期间的状态为 CLOSE_WAIT， 这个状态仍然能发闹败送数据。 我们叫做

半关闭

, 下面用个例子来分析:

这个是我实际生产环境碰到的一个问题，长连接会话场景，server端收到client的rpc call 请求1，处理发现请求包有问题，就强制关闭结束这次会话， 但是 因为client 发送 第二次请求之前，并没有去调用recv，所以并不知道 这个连接被server关闭， 继续发送 请求2 ， 此时是半连接，能够成功发送到对端机器，但是recv结果后，搏兆遇到连接已经关闭错误。

如果 client 和 server 恰好同时发起关闭连接。这种情况下，两边都是主动连接，都会进入 TIME_WAIT状态

1、

被动关闭方在LAST_ACK状态(已经发送FIN)，等待主动关闭方的ACK应答，但是 ACK丢掉， 主动方并不知道，以为成功关闭。因为没有TIME_WAIT等待时间，可以立即创建新的连接， 新的连接发送SYN到前面那个未关闭的被动方，被动方认为是收到错误指令，会发送RST。导致创建连接失败。

2、

主动关闭方断开连接，如果没有TIME_WAIT等待时间，可以马上建立一个新的连接，但是前一个已经断开连接的，延迟到达的数据包。 被新建的连接接收，如果刚好seq 和 ack字段 都正确, seq在滑动窗口范围内(只能说机率非常小，但是还是有可能会发生)，会被当成正确数据包接收，导致数据串包。 如果不在window范围内，则没有影响( 发送一个确认报文（ack 字段为期望ack的序列号，seq为当前发送序列号），状态变保持原样)

TIME_WAIT 问题比较比较常见，特别是CGI机器，并发量高，大量连接后段服务的tcp短连接。因此也衍生出了多种手段解决。虽然每种方法解决不是那么完美，但是带来的好处一般多于坏处。还是在日常工作中会使用。

1、改短TIME_WAIT 等待时间

这个是之一个想到的解决办法，既然等待时间太长，就改成时间短，快速回收端口。但是实际情况往往不乐观，对于并发的机器，你改多短才能保证回收速度呢，有时候几秒钟就几万个连接。太短的话，就会有前面两种问题小概率发生。

2、禁止Socket lingering

这种情况下关闭连接，会直接抛弃缓冲区中待发送的数据，会发送一个RST给对端，相当于直接抛弃TIME_WAIT， 进入CLOSE状态。同样因为取消了 TIME_WAIT 状态，会有前面两种问题小概率发生。

3、tcp_tw_reuse

net.ipv4.tcp_tw_reuse选项是 从 TIME_WAIT 状态的队列中，选取条件：1、remote 的 ip 和端口相同， 2、选取一个时间戳小于当前时间戳； 用来解决端口不足的尴尬。

现在端口可以复用了，看看如何面对前面TIME_WAIT 那两种问题。 我们仔细回顾用一下前面两种问题。

都是在新建连接中收到老连接的包导致的问题

， 那么如果我能在新连接中识别出此包为非法包，是不是就可以丢掉这些无用包，解决问题呢。

需要实现这些功能，需要扩展一下tcp 包头。 增加 时间戳字段。 发送者 在每次发送的时候。 在tcp包头里面带上发送时候的时间戳。 当接收者接收的时候，在ACK应答中除了TCP包头中带自己此时发送的时间戳，并且把收到的时间戳附加在后面。也就是说ACK包中有两个时间戳字段。结构如下:

那我们接下来一个个分析tcp_tw_reuse是如何解决TIME_WAIT的两个问题的

4、tcp_tw_recycle

tcp_tw_recycle 也是借助 timestamp机制。顾名思义， tcp_tw_reuse 是复用 端口，并不会减少 TIME-WAIT 数量。你去查询机器上TIME-WAIT 数量，还是 几千几万个，这点对有强迫症的同学感觉很不舒服。tcp_tw_recycle 是 提前 回收 TIME-WAIT资源。会减少 机器上 TIME-WAIT 数量。

关于linux back log的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。

香港服务器首选树叶云，2H2G首月10元开通。
树叶云（shuyeidc.com）提供简单好用，价格厚道的香港/美国云服务器和独立服务器。IDC+ISP+ICP资质。ARIN和APNIC会员。成熟技术团队15年行业经验。