pg使用 archive_cleanup_command 自动清理归档日志

在 PostgreSQL 主从复制设置中，主服务器生成的归档日志（WAL 日志）对于复制非常重要，然而过多的归档日志会占用大量磁盘空间。因此，设置自动清理主服务器的归档日志非常重要，以防止磁盘空间被占满。

清理归档日志的方式

1.使用 archive_cleanup_command 自动清理归档日志

PostgreSQL 提供了 archive_cleanup_command 参数，用于自动清理归档日志。此参数指定了一个外部命令，它会在 archive_mode 启用时，每当 WAL 文件被成功归档后自动执行，删除已经不再需要的旧日志文件。

设置 archive_cleanup_command 参数来清理归档日志：

archive_cleanup_command = 'pg_archivecleanup /path/to/archive/ %r'

• %r 是一个占位符，表示当前 WAL 文件的基名。

步骤：

2.配置 archive_timeout 和 max_wal_size 控制日志生成

为了避免归档日志生成过快，占用过多空间，可以调整以下几个参数：

• archive_timeout: 如果在给定时间内没有生成新的 WAL 文件，PostgreSQL 会强制归档当前的 WAL 文件。比如设置为 30min，则每 30 分钟会强制归档一次。

  archive_timeout = 30min

• max_wal_size：这个参数决定了 PostgreSQL 在触发归档前，WAL 日志文件的最大总大小。达到这个大小后，PostgreSQL 会执行 WAL 日志的归档。

  max_wal_size = 1GB

3.使用 cron 定期清理归档日志

你也可以使用系统的定时任务工具 cron 来定期清理归档日志。比如，每天清理不再需要的归档文件。可以编写一个脚本，删除比最新备份时间早的归档日志。

例如，创建一个简单的清理脚本 /usr/local/bin/clean_wal_logs.sh，内容如下：

#!/bin/bash # 清理归档日志，删除 7 天前的日志文件

find /path/to/archive/ -type f -name "*" -mtime +7 -exec rm {} \;

使用 cron 定时执行该脚本：

crontab -e

添加如下行，设置每天凌晨 1 点执行清理脚本：

0 1 * * * /usr/local/bin/clean_wal_logs.sh

4.完整的配置示例

下面是一个完整的示例配置，展示了如何启用归档模式并配置 archive_command 和 archive_cleanup_command：

# 启用归档模式 archive_mode = on 

# 设置归档命令，将 WAL 文件存档到指定目录 

archive_command = 'cp %p /path/to/archive/%f' 

# 清理归档日志的命令，删除已经不再需要的日志文件 

archive_cleanup_command = 'pg_archivecleanup /path/to/wal/ %r' 

# 设置 WAL 文件大小，控制归档的频率 

max_wal_size = 1GB

清理归档日志的注意事项

• 保持足够的归档日志以供恢复：清理归档日志时，务必保证主服务器和从服务器的同步状态。特别是从服务器需要这些日志来追赶主服务器的 WAL。如果清理过早，可能会导致从服务器的同步问题或恢复困难。

• 备份和恢复策略：确保主服务器的归档日志在清理之前已经做了备份。定期进行归档日志的备份，并确保备份能用于从服务器的恢复。

• 日志保留周期：根据需要的保留周期来清理日志，避免因清理过早导致数据丢失。保留策略可以根据业务需求、数据重要性以及日志备份的频率来决定。

通过合理的配置和策略，可以有效管理和清理 PostgreSQL 的归档日志，防止磁盘空间被占满，同时保持数据库的备份和恢复能力。

那么如何安全有效的清理历史归档日志呢？

使用 pg_archivecleanup 手动清理： 如果你已经启用了 archive_cleanup_command，你可以通过手动运行 pg_archivecleanup 来清理不再需要的归档日志。运行以下命令：

pg_archivecleanup /path/to/archive/ <restore_point>

定期清理 ：你可以使用 cron job 或其他定期任务安排来定期运行归档清理命令。以下是一个 cron 任务的示例，每天清理归档日志：

0 2 * * * /usr/pgsql-<version>/bin/pg_archivecleanup /path/to/wal/ `ls /path/to/archive/ | sort -r | head -n 1`

总结：

• archive_command 会立即生效，用来归档新的 WAL 文件。

• archive_cleanup_command 并不会自动清理历史归档文件，除非在恢复过程中使用。你需要手动执行清理命令，或者定期执行清理任务。