[Amazon RDS] AWS PiTR Backup 적용 시, 재부팅되는 현상

개요

RDS Intsance 생성 후, AWS 백업 적용 시 재부팅 현상 발생

 

현상

(1) 2024-01-19 오후

1. MariaDB RDS 생성

• Disable Automated Backup

2. AWS Backup 설정 (일반 백업 & PiTR 백업)

• 일반 백업: Daily 백업, 오전 4시 백업 수행 시작, 4주 보관, Continuous Backup Disabled
• PiTR 백업: Daily 백업, 오전 4시 백업 수행 시작, 4주 보관, Continuous Backup Enabled

(2) 2024-01-20 오전 4시가량

1. Backup start

2. RDS Reboot

3. Backup Finished

 

 

🔫 재부팅 원인 분석 

RDS 생성 시, 자동 백업을 비활성화하였기 때문에 Backup Retention Period(백업 보관 기간)이 0인 채로 RDS 인스턴스가 생성되었다. 이후, AWS 백업 중 PiTR 백업 관련 태그를 RDS에 적용하게 되면서, RDS 인스턴스의 백업 보관 기간이 28일로 변경되었다. 백업 보관 기간을 0에서 0이 아닌 수 혹은 0이 아닌 수에서 0으로 변경하면 재부팅이 발생하게 된다. PiTR 백업은 AWS Backup을 통해 설정한 백업 정책이지만, PiTR을 적용하면 RDS의 자동 백업이 활성화되며, 이에 따라 생성 시 설정해 놓은 자동 백업 보존 기간이 0 → 28일로 변경되었다. (참고: Amazon RDS DB 인스턴스 수정 > 백업 보관 기간)

실제로 Cloudtrail을 확인해 보면, ModifyDBInstance event를 확인할 수 있으며,

   "eventTime": "2024-01-19T19:25:04Z",
    "eventSource": "rds.amazonaws.com",
    "eventName": "ModifyDBInstance",
    "awsRegion": "{region}",
    "sourceIPAddress": "backup.amazonaws.com",
    "userAgent": "backup.amazonaws.com",
    "requestParameters": {
        "allowMajorVersionUpgrade": false,
        "awsBackupRecoveryPointArn": "arn:aws:backup:{region}:{account-id}:recovery-point:continuous:db-{recovery-point-id}",
        "dBInstanceIdentifier": "{db-identifier}",
        "backupRetentionPeriod": 28,
        "preferredBackupWindow": "14:32-16:32",
        "applyImmediately": true
    },

cloudtrail event record 일부를 발췌했을 때, PiTR 백업이 일어난 시간에 AWS Backup에 의해 RDS의 백업 보존 기간이 28일로 변경되었음을 확인할 수 있다. 즉, PITR 보존 기간을 변경하면 AWS Backup 를 ModifyDBInstance 요청하고, 해당 기간이 즉시 변경하도록 적용한다. (참고: 연속 백업 및 point-in-time 복원 (PITR) > RDS)

 

궁극적으로 PiTR을 변경하면 RDS가 재부팅이 되는 이유는 뭘까?

PiTR 을 활성화/비활성화하기 위해 DB 파라미터 변경이 수행되고, 이를 적용하기 위해 DB 인스턴스가 재시작된다. postgresql의 경우 wal_level, archive_mode 파라미터가 변경된다. (참고: 왜 RDS의 자동백업을 활성화하면 RDS가 재시작될까?)