[Amazon FSx] FSx for Windows File Server 파일 시스템 잘못 구성됨 상태로 인한 실패 (AD Connectivity, FSx Validation)

☄️ 현상

FSx가 misconfigured 상태로 변경되어 정상적으로 스토리지에 접근이 불가능하였다. 콘솔에서 확인했던 상태 관련 로그는 아래와 같다.

Amazon FSx is unable to communicate with your Microsoft Active Directory domain controllers. Please allow network traffic between Amazon FSx and your domain controllers as recommended in the Amazon FSx user guide: https://docs.aws.amazon.com/fsx/latest/WindowsGuide/aws-ad-integration-fsxW.html

해당 시간에 FSx의 maintanence window에 발생한 Patch offline 작업이 있었다. AWS 티켓을 통해 확인한 결과, FSx 파일시스템에서 파워쉘로 Get-ADComputer 명령어 수행 시 에러가 발생했으며 내부 툴에서는 아래와 같은 에러 로그가 남겨져 있었다고 한다.

- because file server role cannot be set up due to AD connectivity issue.; caused by Failed to call WSFCAdminService /wsfcadmin/AddClusterFileServerRole2
- ACTIVE_DIRECTORY_INVALID_CREDENTIALS_ON_UPDATE

 

 

🌎 설정 환경

• AWS FSx for Windows File Server
• 자체 관리형 AD (Self-managed Microsoft Active Directory)
• 배포 유형 : Single AZ 2

 

---

 

🔫 Trouble Shooting

0. StartMisconfiguredStateRecovery

FSx 콘솔에서 Attempt Recovery 버튼을 통해 StartMisconfiguredStateRecovery을 수행하였으며, 40분 후 FSx의 상태가 Available로 정상 복귀되었다. StartMisconfigureStateRecovery는 기존 볼륨을 Detach 후, 신규로 파일시스템을 재생성하고 기존 볼륨을 attach 하는 작업을 수행한다. FSx가 Single Node인 경우에, path offline 및 StartMisconfigureStateRecovery 작업 시 FSx 파일시스템에 접근이 불가능할 수 있으니 주의하자.

StartMisconfiguredStateRecovery를 통해 임시로 상태를 변경하였으나 오프라인 패치에서 실패하는 근본적인 원인을 해결할 수는 없었다.

1. AD ↔ FSx 간 통신 확인

참고: https://docs.aws.amazon.com/fsx/latest/WindowsGuide/fsx-aws-managed-ad.html#rfim-networking-requirements

AD 서버의 Windows 방화벽은 모두 off 되어 있었으며, 네트워크 통신 구간에 막혀있는 방화벽은 없었다. FSx에 연결되어 있는 Security Group에서도 특이사항은 없었다. 

💡 참고 💡
5985번:  FSx 파일시스템을 Remote Session에서 관리자가 아래와 같은 명령어로 관리하기 위해 필요한 Win RM 관련 포트.
Get-FSxDedupConfiguration
Get-FSxDedupSchedule
Get-FSxDedupStatus
Get-FSxDedupJob
Get-FsxShadowStorage
Get-FSxShadowCopies
Get-FsxShadowCopySchedule

 

2. FSx Service Account 확인

FSx에 연결된 Service Account (AD 계정)의 변경 이력은 없었다.

3. FSx Validation Tool로 AD와의 연결성 검증

💡 FSx Validation Tool이란?
자체 관리형 AD와의 연결성을 검증하기 위한 AWS에서 제공하는 모듈로 2, 3의 과정도 포함되어 있다. AWS에서는 FSx Validation Tool을 주기적으로 검증하여 AD 환경 변화가 있는 경우 패치 오프라인 실패의 가능성을 줄이도록 권장한다.

① FSx와 같은 서브넷에 임시 EC2를 만든다.

• 보안그룹 : FSx에 연결되어 있는 보안그룹을 FSx와 동일하게 연결한다.
• IAM Role: AmazonEC2ReadOnlyAccess Policy 연결

② 해당 서버에 FSx Validation Tool을 다운로드한다. : 참고

③ 해당 서버를 AD에 조인한다.

④ Tool을 수행하기 위한 변수를 준비한다. Credential에는 FSx 파일시스템에 사용된 AD 계정 정보를 입력한다.

$FSxADValidationArgs = @{
    # DNS root of ActiveDirectory domain
    DomainDNSRoot = 'DOMAINNAME.COM'

    # IP v4 addresses of DNS servers
    DnsIpAddresses = @('IP_ADDRESS_1', 'IP_ADDRESS_2')

    # Subnet IDs for Amazon FSx file server(s)
    SubnetIds = @('SUBNET_1', 'SUBNET_2')

    Credential = $Credential
}

⑤ FSx Validation Tool 실행

WARNING: Subnet not defined in an Active Directory site: subnet-#################!
WARNING: The following subnet(s) are not defined in an Active Directory site: subnet-#################!
Please ensure all subnets in the VPC associated with your Amazon FSx file system are defined in an Active Directory site.
Skipping Validate connectivity with DNS Servers ...
Skipping Validate FSx service user credentials ...
Skipping Validate 'Create Computer Objects' permission ...
Skipping Validate 'Validated write to DNS host name' permission ...
Skipping Validate 'Validated write to service principal name' permission ...
Skipping Validate 'Reset Password' permission ...
Skipping Validate 'This Organization' list children permission ...
Skipping Validate 'Read and write Account Restrictions' permission ...
Skipping Validate 'Delete Computer Objects' permission ...
9 of 17 tests skipped.
FAILURE - Tests failed. Please see error details below:

Name                         Value
----                         -----
NoAdSubnetForEc2Subnet       {subnet-#################}

 

AD Site에 FSx가 포함된 대역이 존재하지 않아 Validation Tool에서 검증을 실패하였다. AD 사이트 정의는 아래와 같이 AWS 공식 가이드 문서에서 FSx 구성 시 수행해야 하는 사전 준비 사항이다. 

출처: https://docs.aws.amazon.com/ko_kr/fsx/latest/WindowsGuide/self-manage-prereqs.html

FSx가 오류 없이 구성되고 수년간 문제없이 운영되었던 것이 이상하지만 이 계기로 FSx가 연결되어 있는 AD Subnet으로 FSx 서브넷 대역을 추가하였다. Subnet 추가 시 연결하는 Site는 FSx가 연결하는 AD DC가 포함된 Site를 선택한다. 이후 Validation Tool을 재수행했을 때 문제없이 성공하였다. 

AD Subnet에 FSx 대역 추가 이후 오프라인 패치 자체가 수행되지 않아 완벽하게 해결되었는지는 알 수 없지만 AD Connectivity를 원인으로 misconfigured 상태로 변경될 가능성을 낮추었다.