精通 Ubuntu rsyslog：日志过滤与数据库集成实战 ~ Dev.

在服务器运维工作中，我们每天都会面对海量的日志。这些日志是理解系统健康状况、追溯问题根源、检测安全威胁的宝贵信息资产。然而，在默认配置下，日志以纯文本文件的形式散落在/var/log目录中，这使得查找特定信息、进行统计分析或从中提取有价值的数据变得异常困难。为了解决这一难题，“集中式日志管理系统”应运而生。

今天，我们将深入探讨如何利用Ubuntu系统内置的强大日志处理工具rsyslog，实现超越传统文件存储的日志管理方式。我们将学习如何精确筛选（过滤）我们关心的日志，并将其系统性地存入关系型数据库（如MySQL/MariaDB）。通过这一过程，您将迈出将零散日志转变为强大数据资产的第一步。

读完本文，您将能够：

理解 rsyslog 的模块化系统，并安装数据库集成模块。
为日志存储建立专用的数据库和用户账户。
使用 rsyslog 的基础及高级过滤规则（RainerScript），精准捕获所需日志。
配置 rsyslog，将过滤后的日志实时插入数据库。
验证配置是否生效，并掌握常见问题的排查方法。

本指南不仅是关于如何将日志存入数据库的技术教程，更旨在提供一种思路：如何高效管理大规模系统中的日志，并为未来的数据分析奠定坚实基础。现在，让我们一起唤醒那些沉睡在文本文件中的日志数据吧！

准备工作：确认必备环境

在开始配置之前，请确保您已具备以下条件，以保证过程顺利。

一台Ubuntu服务器：需要一台安装了Ubuntu 18.04 LTS、20.04 LTS、22.04 LTS或更新版本的服务器。本指南内容也基本适用于其他Debian系的Linux发行版。
Sudo权限：您需要一个拥有sudo权限的账户，以便安装软件包和修改系统配置文件。
选定的数据库：本指南将以广泛使用的开源数据库MariaDB为例进行讲解。如果您使用MySQL，操作步骤几乎完全相同。若希望使用PostgreSQL，只需将相关软件包名称（如rsyslog-pgsql）做相应替换即可。
基础Linux命令行知识：我们假定您已熟悉apt、systemctl等基本命令，并会使用nano或vim等文本编辑器。

一切就绪后，让我们从第一步开始：安装数据库及rsyslog相关模块。

第一步：安装数据库与rsyslog模块

为了让rsyslog能将日志发送到数据库，它需要一个“翻译官”——一个能让它与数据库“对话”的模块。对于MariaDB/MySQL，这个角色由名为rsyslog-mysql的软件包扮演。同时，我们也需要安装用于存储日志的数据库服务器本身。

1.1. 安装MariaDB服务器

如果您的服务器上已经运行着数据库，可以跳过此步骤。如果是全新安装，请在终端中输入以下命令来安装MariaDB服务器：

sudo apt update
sudo apt install mariadb-server -y

安装完成后，MariaDB服务会自动启动。您可以通过以下命令检查其运行状态：

sudo systemctl status mariadb

如果输出信息中包含active (running)字样，说明安装和启动都已成功。

1.2. 安装rsyslog的MySQL模块

现在，安装rsyslog-mysql软件包，使rsyslog具备与MariaDB通信的能力。该软件包提供了rsyslog的一个重要输出模块（Output Module）——ommysql。

sudo apt install rsyslog-mysql -y

安装过程非常迅速。就是这个小小的软件包，为rsyslog赋予了超越文件系统的强大扩展能力。

第二步：为日志存储配置数据库

接下来，我们需要为日志创建一个“仓库”。出于安全考虑，最佳实践是为rsyslog创建一个专用的数据库和用户。这样可以有效隔离权限，防止rsyslog账户影响到服务器上的其他数据库。

2.1. 连接并加固MariaDB

首先，以root用户身份登录MariaDB。

sudo mysql -u root

如果是首次安装，强烈建议运行安全配置脚本。mysql_secure_installation脚本将引导您完成设置root密码、移除匿名用户等一系列安全强化操作。

sudo mysql_secure_installation

2.2. 创建数据库和用户

在MariaDB的命令行提示符（MariaDB [(none)]>）下，依次执行以下SQL查询语句，创建rsyslog专用的数据库和用户。

1. 创建数据库： 我们创建一个名为`Syslog`的数据库，用于存放日志。

CREATE DATABASE Syslog CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

2. 创建用户并授权： 创建一个名为`rsyslog_user`的用户，并授予其对`Syslog`数据库的全部权限。请务必将`'your-strong-password'`替换为一个真实的、高强度的密码。

CREATE USER 'rsyslog_user'@'localhost' IDENTIFIED BY 'your-strong-password';
GRANT ALL PRIVILEGES ON Syslog.* TO 'rsyslog_user'@'localhost';

3. 应用更改： 刷新权限，使更改立即生效。

FLUSH PRIVILEGES;

4. 退出： 离开MariaDB命令行。

EXIT;

2.3. 创建日志表结构（Schema）

rsyslog需要一个特定结构的表来存储日志。幸运的是，rsyslog-mysql软件包中已为我们准备好了创建此表结构的SQL脚本。我们只需在我们刚刚创建的`Syslog`数据库上执行它即可。

该脚本文件通常位于/usr/share/doc/rsyslog-mysql/目录下。使用以下命令将其导入到`Syslog`数据库中：

sudo mysql -u rsyslog_user -p Syslog < /usr/share/doc/rsyslog-mysql/createDB.sql

执行此命令后，系统会提示您输入`rsyslog_user`的密码。正确输入后，命令会安静地执行完毕，没有任何输出，这是正常现象。

为了验证，我们可以查看一下`Syslog`数据库中创建了哪些表。

sudo mysql -u rsyslog_user -p -e "USE Syslog; SHOW TABLES;"

如果执行结果显示了SystemEvents和SystemEventsProperties这两个表，那么数据库的准备工作就圆满完成了。SystemEvents表就是我们即将存放日志的地方。

第三步：配置rsyslog - 过滤与数据库对接

这是最核心的环节。我们将修改rsyslog的配置文件，使其根据特定条件筛选日志，并将符合条件的日志发送到MariaDB。rsyslog的配置由主配置文件/etc/rsyslog.conf和/etc/rsyslog.d/目录下的所有.conf文件共同决定。为了保持主配置的整洁和便于维护，我们将在/etc/rsyslog.d/目录下创建一个新的配置文件。

让我们创建一个名为60-mysql.conf的新文件。

sudo nano /etc/rsyslog.d/60-mysql.conf

在这个文件中，我们将告诉rsyslog要发送什么、如何发送以及发送到哪里。

3.1. 核心概念：RainerScript

现代rsyslog版本采用一种名为RainerScript的先进脚本化配置语法。相比传统的facility.priority格式，它提供了更强大、更灵活的过滤和控制能力。我们将使用RainerScript来构建我们的过滤规则。

RainerScript的过滤逻辑基本遵循if ... then ...结构：

if <条件表达式> then {
    <要执行的动作>
}

这里的“条件表达式”可以基于日志的各种属性（如程序名、主机名、消息内容等）来构建，而“要执行的动作”则定义了如何处理这条日志，例如存入文件、转发到另一台服务器，或是我们即将要做的——插入到数据库。

3.2. 编写配置：将所有日志发送到数据库（基础版）

我们先从最简单的配置开始：不加任何过滤，将所有日志都发送到数据库。这有助于我们首先验证数据库连接是否正常。请在60-mysql.conf文件中输入以下内容：

# #####################################################################
# ## 用于将日志发送到 MySQL/MariaDB 的配置 ##
# #####################################################################

# 1. 加载 ommysql 模块
# 这行代码告诉 rsyslog 如何与 MySQL 数据库通信
module(load="ommysql")

# 2. 定义一个动作(action)，将所有日志(*)发送到数据库
# 格式: *.* action(type="ommysql" server="服务器地址" db="数据库名"
#                  uid="用户名" pwd="密码")
#
# 重要：请务必将下面的 'your-strong-password' 替换为您在第二步中设置的真实数据库密码
action(
    type="ommysql"
    server="127.0.0.1"
    db="Syslog"
    uid="rsyslog_user"
    pwd="your-strong-password"
)

这个配置非常直观：

module(load="ommysql"): 激活MySQL模块。
action(...): 指示rsyslog对所有日志（由于没有过滤器，默认为*.*）执行指定的动作。
- type="ommysql": 明确指定动作为写入MySQL数据库。
- server, db, uid, pwd: 必须准确填写您在第二步中配置的数据库连接信息。

3.3. 编写配置：应用过滤器（核心任务）

现在，我们来实践本指南的核心主题：“过滤”。将所有日志都存入数据库会产生海量数据，不仅浪费存储空间，也增加了查找关键信息的难度。我们将添加规则，只存储符合特定条件的日志。

假设我们的需求是：“我只想将SSH(sshd)相关的日志，以及级别为'warning'或更高的内核(kernel)消息存入数据库。”

修改或替换60-mysql.conf文件的内容为：

# #####################################################################
# ## 用于过滤日志并将其发送到 MySQL/MariaDB 的配置 ##
# #####################################################################

# 1. 加载 ommysql 模块
module(load="ommysql")

# 2. 定义过滤规则和数据库存储动作
# 我们使用 RainerScript 的 if-then 语法
if ( \
    # 条件1：如果程序名(programname)是 'sshd'
    $programname == 'sshd' \
    or \
    # 条件2：如果程序名(programname)是 'kernel' 并且
    #          日志级别(syslogseverity) 小于等于 4 ('warning')
    #          (级别数值越小越严重: 0=emerg, 1=alert, 2=crit, 3=err, 4=warning)
    ($programname == 'kernel' and $syslogseverity <= 4) \
) then {
    # 只有匹配上述条件的日志才会执行下面的 action
    action(
        type="ommysql"
        server="127.0.0.1"
        db="Syslog"
        uid="rsyslog_user"
        pwd="your-strong-password"
    )
    # 'stop' 指令可以阻止这条日志被后续规则继续处理。
    # 如果不希望日志在存入DB后还写入 /var/log/syslog 等默认文件，这个指令很有用。
    # 这里我们将其注释掉，以保留默认的文件日志。
    # stop
}

此配置的核心在于if (...) then { ... }代码块：

$programname: rsyslog的一个内置变量（属性），它包含了生成日志的进程/程序的名称。
$syslogseverity: 一个代表日志严重级别的数字变量 (0: Emergency, 1: Alert, ..., 6: Informational, 7: Debug)。
==, or, and, <=: 您可以像在编程语言中一样，使用这些常见的比较和逻辑运算符来构建复杂的条件。
action(...): 现在，这个动作变成了有条件的，只有通过了if语句检查的日志才会触发它。

更多过滤示例：

只存储包含特定消息的日志 (例如 'Failed password'):
```
if $msg contains 'Failed password' then { ... }
```

只存储来自特定主机的日志:

if $hostname == 'web-server-01' then { ... }

存储除CRON任务之外的所有日志:

if not ($programname == 'CRON') then { ... }

如您所见，RainerScript几乎可以实现您能想到的任何日志过滤场景。请根据您的系统环境和监控目标，自由地修改和组合过滤条件吧。

第四步：应用配置并验证

完成配置文件编写后，就该让rsyslog加载新设置，并验证一切是否按预期工作了。

4.1. 检查配置文件语法

在重启服务之前，检查一下配置文件是否存在语法错误是一个好习惯。带有错误的配置可能导致rsyslog服务启动失败。运行以下命令进行语法检查：

sudo rsyslogd -N1

如果您看到类似“rsyslogd: version ..., config validation run (level 1), master config /etc/rsyslog.conf OK.”且没有报错的输出，说明语法正确。如果存在错误，输出信息会指出错误所在的文件和行号，请据此进行修正。

4.2. 重启rsyslog服务

语法检查通过后，重启rsyslog服务以应用新配置。

sudo systemctl restart rsyslog

重启后，检查服务状态，确保其正常运行。

sudo systemctl status rsyslog

请留意状态是否为active (running)，并仔细查看输出中是否有错误信息。

4.3. 检查数据库

最权威的验证方法就是直接检查数据库中是否已经有日志数据了。

我们可以手动触发一些符合过滤规则的日志。例如，尝试一次SSH登录（成功或失败均可），或者重启系统以产生内核消息。稍等片刻后，登录到MariaDB，查询SystemEvents表的内容。

sudo mysql -u rsyslog_user -p

登录数据库后，执行以下查询：

USE Syslog;
SELECT ID, ReceivedAt, FromHost, SysLogTag, Message FROM SystemEvents ORDER BY ID DESC LIMIT 10;

这条查询会显示最新存入的10条日志。如果您在查询结果中看到了与SSH(sshd)或内核(kernel)相关的日志，那么恭喜您，配置成功了！如果没有任何数据，请参考下面的问题排查部分。

问题排查 (Troubleshooting)

如果配置后数据库中没有日志进入，请检查以下几点：

检查rsyslog状态和日志： 运行sudo systemctl status rsyslog或sudo journalctl -u rsyslog，查看rsyslog自身的错误日志。留意是否有“cannot connect to mysql server”之类的数据库连接失败信息。
核对数据库连接信息： 再次仔细检查60-mysql.conf文件中的数据库名、用户名、密码和服务器地址是否完全正确。密码拼写错误是常见原因。
检查防火墙： 如果rsyslog和数据库位于不同的服务器上，需要确保防火墙（如ufw, iptables）允许了对数据库端口（默认为3306）的访问。
检查过滤条件： 确认您的过滤条件是否过于严苛，导致当前系统根本没有产生匹配的日志。为了测试，可以暂时去掉过滤条件，改用捕获所有日志（*.*）的配置，先排除数据库连接本身的问题。
SELinux/AppArmor： 极少数情况下，SELinux或AppArmor等安全模块可能会阻止rsyslog的网络连接。检查相关审计日志（/var/log/audit/audit.log或/var/log/syslog）中是否有权限拒绝（permission denied）的记录。

总结与展望

恭喜！您已成功地在Ubuntu服务器上构建了一个能够实时过滤日志并将其存入数据库的系统。通过这一实践，您已将原本杂乱的文本文件，转化为了可以通过SQL进行查询、排序和聚合的结构化数据。这是将您的系统监控、安全分析和故障响应能力提升到新高度的关键一步。

但您的探索之旅并未结束，还可以更进一步：

日志可视化： 将Grafana、Metabase等仪表盘工具连接到您的数据库，对日志数据进行可视化分析，例如绘制错误数量随时间变化的趋势图、登录尝试IP来源的地理分布图等。
使用高级模板： rsyslog的模板功能允许您完全自定义存入数据库的日志格式。您可以实现更高级的用法，比如从日志消息中提取特定字段存入独立的列。
扩展为日志中心： 配置多台服务器，将它们的日志统一转发到一个中央rsyslog服务器。由这台中央服务器负责所有日志的过滤和入库操作，从而构建一个企业级的集中式日志管理平台。

今天所学的rsyslog过滤与数据库集成功能仅仅是个开始。rsyslog是一个极其灵活和强大的工具。我们鼓励您进一步探索其官方文档，根据您的实际需求，构建出更精细、更强大的日志管理流水线。

Thursday, August 21, 2025

精通 Ubuntu rsyslog：日志过滤与数据库集成实战