[AWS Health] AWS Health 이벤트를 자동으로 Airtable에 저장하기(+Amazon EventBridge, AWS Lambda)

AWS Health Dashboard란?

AWS Health

AWS 서비스나 AWS 계정에 영향을 주는 이벤트를 알려준다.

AWS Health Dashboard는 모든 AWS 고객이 초기 설정 및 비용 없이 이용할 수 있다.

Account health/Organization health는 PHD(Personal Health Dashboard)라고도 한다. Service Health Dashboard에서는 일반적인 AWS 서비스 상태를 확인할 수 있고, Personal Health Dashboard에서는 구성된 특정 AWS 환경에 대해 분명한 알림을 미리 제공한다.

 

---

 

 

☄️ To-Be Architecture

AWS Health에서 알려주는 알림을 놓치지 않도록 Amazon EventBridge, AWS Lambda를 통해 이벤트 정보를 Airtable에 저장하여 일정 시각화 및 관리해 보자!

AWS Health에서 event가 발생하면 python으로 작성된 Lambda 함수가 실행되도록 EventBridge를 구성한다. Lambda 함수는 Airtable의 API를 이용하여 Health event 정보를 Airtable의 테이블에 저장한다.

 

 

1. Airtable 구성

Airtable 구성

• Name (Single line text)
• createdAt (Created time)
• Account (Single line text)
• Service (Single line text)
• eventTypeCategory (Single select [accountNotification, issue, scheduledChange])
• description (Long text)
• startTime (Date)
• endTime (Date)
• affectedEntities (Single line text)

AWS Health에서 발생한 이벤트를 Airtable에 저장하기 위해 위와 같이 base를 구성하였다.

위 base에 이벤트 관련 레코드를 등록하기 위해 Airtable에서 제공하는 아래 API를 이용할 것이다.

⇒ [Airtable Developers Web API Docs] Create records

인증을 위한 access token 발급은 다음을 참조하자.

⇒ [Airtable Developers Web API Docs] Personal access tokens

액세스 토큰, base ID, 테이블명을 확인하자.

 

 

2. AWS Secrets Manager 구성

Lambda에 hard-coding으로 데이터를 저장하는 것을 피하기 위해 AWS Secrets Manager를 이용해 보자.

1에서 확인한 Access Token, Base ID, 테이블명을 AWS Secrets Manager를 통해 저장한다.

Secret 생성을 완료하면 AWS는 해당 Secret에 저장된 값을 불러오는 코드도 제공해 준다. 3에서는 아래 코드를 이용하여 Lambda 함수를 구성할 것이다.

 

 

3. Lambda 함수 구성

3-1. lambda_function.py

이벤트를 처리하는 함수 코드의 메서드

# lambda_function.py
import create_records

def lambda_handler(event, context):
    return create_records.create_records(event)

3-2. create_records.py

Airtable API를 이용하여 원하는 base에 레코드를 생성한다. Airtable API를 이용하기 위해 requests 모듈을 이용한다. request 모듈을 Lambda에 업로드하기 위해 아래 링크를 참조하였다.

⇒ AWS Docs: .zip 파일 아카이브를 사용하여 Python Lambda 함수 배포

# create_records.py
import requests
import json
import get_secret

def create_records(event):
    endTime = event["detail"].get("endTime")
    affectedEntities = None
    if event["detail"].get("affectedEntities"):
        affectedEntities = event["detail"]["affectedEntities"][0]["entityValue"]
    
    fields = {
        "Name": event["detail"]["eventTypeCode"],
        "Account": event["account"],
        "Service": event["detail"]["service"],
        "eventTypeCategory": event["detail"]["eventTypeCategory"],
        "description": event["detail"]["eventDescription"][0]["latestDescription"],
        "startTime": event["detail"]["startTime"],
        "endTime": endTime,
        "affectedEntities": affectedEntities
    }
    
    secrets = json.loads(get_secret.get_secret())
    url = f"<https://api.airtable.com/v0/{secrets['baseID']}/{secrets['tableName']}>"
    authToken = secrets["authToken"]
    headers = {
        'Authorization': 'Bearer ' + authToken,
        'Content-Type': 'application/json'
        }
    payload = {
        "records":[
            {
                "fields": fields
                }
            ]
        }
        
    res = requests.post(url, headers=headers, json=payload)
    return(res.text)

3-3. get_secret.py

boto3을 이용하여 AWS Secrets Manager에 저장한 값을 가져온다.

# get_secret.py
import boto3
from botocore.exceptions import ClientError

def get_secret():
    secret_name = "hyeonju-airtable-secrets"
    region_name = "ap-northeast-2"

    # Create a Secrets Manager client
    session = boto3.session.Session()
    client = session.client(
        service_name='secretsmanager',
        region_name=region_name
    )

    try:
        get_secret_value_response = client.get_secret_value(
            SecretId=secret_name
        )
    except ClientError as e:
        raise e

    # Decrypts secret using the associated KMS key.
    secret = get_secret_value_response['SecretString']

    return secret

 

 

 

4. IAM Policy 추가

Secrets Manager에 저장된 값을 조회하기 위해 Lambda에 연결되어 있는 IAM Role에 secretsmanager:GetSecretValue를 허용하는 Policy를 추가한다.

(Lambda 함수에 연결되어 있는 Execution Role은 [AWS Lambda 콘솔 > Configuration 탭 > Permissions 섹션]에서 확인할 수 있다.)

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": "secretsmanager:GetSecretValue",
            "Resource": "arn:aws:secretsmanager:ap-northeast-2:############:secret:{ secret-name }-######"
        }
    ]
}

 

 

5. 중간 점검

{
  "version": "0",
  "id": "1######-0###-2###-2d84-#########",
  "detail-type": "AWS Health Event",
  "source": "aws.health",
  "account": "#########",
  "time": "2022-11-02T07:30:00Z",
  "region": "ap-northeast-2",
  "resources": [
    "##############"
  ],
  "detail": {
    "eventArn": "arn:aws:health:ap-northeast-2::event/CLOUDFORMATION/AWS_CLOUDFORMATION_OPERATIONAL_NOTIFICATION/AWS_CLOUDFORMATION_OPERATIONAL_NOTIFICATION_##############################",
    "service": "CLOUDFORMATION",
    "eventTypeCode": "AWS_CLOUDFORMATION_OPERATIONAL_NOTIFICATION",
    "eventTypeCategory": "accountNotification",
    "startTime": "Wed, 2 Nov 2022 07:30:00 GMT",
    "eventDescription": [
      {
        "language": "en_US",
        "latestDescription": "English follows Korean | 한국어버전 뒤에 영어버전이 있습니다 \\n\\n자체 관리형 AWS CloudFormation StackSets 로의 온보딩을 간소화하기 위해 백엔드 권한 정책을 업데이트했습니다. 2022년 10월 31일부터 자체 관리형 StackSets 를 사용 시작하기 위한 전제 조건으로 AWSCloudFormationStackSetExecutionRole 내 sns* 권한이 더 이상 필요하지 않습니다.\\n\\nSNS 자원을 사용할 계획이 없으신 고객은 AWSCloudFormationStackSetExecutionRole 에서 기존 sns* 권한을 제거해도 무방합니다. 이 권한은 Amazon SNS 자원을 프로비저닝할 때만 필요합니다.\\n\\nStackSets를 사용하려면 해당 계정내 사용자 맞춤형 관리자 역할을 위임받을 수 있는 AWSCloudFormationStacksetExecutionRole이라는 서비스 역할을 생성해야 합니다. 이전에는 StackSets가 사용자를 대신하여 자원을 관리하고 프로비저닝할 수 있도록 하기 위해 AWS CloudFormationStackSetExecutionRole에 대한 sns: *, s3: * 및 cloudformation: * 권한을 제공해야 했습니다. 이제는 StackSets가 작동하기 위해 AWSCloudFormationStackSetExecutionRole내 sns: * 권한이 더 이상 필수조건이 아닙니다. AWSCloudFormationStackSetExecutionRole에는 여전히 s3: * 및 cloudformation: * 권한이 필요한 점 참고 부탁드립니다.\\n\\n사용자 설명서 [1] 에서 StackSets에 자체 관리형 권한을 부여하는 방법에 대해 자세히 알아보실 수 있습니다.\\n\\n질문이나 우려 사항이 있는 경우, AWS Support [2] 에 문의해주시기 바랍니다.\\n\\n[1] <https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/stacksets-prereqs-self-managed.html\\n[2]> <https://aws.amazon.com/support\\n\\n---\\n\\nWe> have updated our back-end permissions policy to simplify on-boarding to self-managed AWS CloudFormation StackSets. Starting October 31, 2022, AWS CloudFormation StackSets no longer requires sns* permissions in AWSCloudFormationStackSetExecutionRole as a prerequisite for getting started with self-managed StackSets.\\n\\nCustomers not planning to use any SNS resources can safely remove their existing sns* permissions from their AWSCloudFormationStackSetExecutionRole. These are only required when provisioning Amazon SNS resources.\\n\\nStackSets requires you to create a service role named AWSCloudFormationStackSetExecutionRole that trusts the customized administration role for each target account. Previously, you needed to provide sns:*, s3:*, and cloudformation:* permissions to AWSCloudFormationStackSetExecutionRole as prerequisites to allow StackSets to manage and provision resources on your behalf. Now, StackSets has removed the explicit need for sns:* permissions as prerequisites in AWSCloudFormationStackSetExecutionRole. Please note, you will still need to provide s3:* and cloudformation:* permissions in AWSCloudFormationStackSetExecutionRole.\\n\\nLearn more about how to grant self-managed permissions for StackSets in the User Guide [1].\\n\\nIf you have any questions or concerns, please reach out to AWS Support [2].\\n\\n[1] <https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/stacksets-prereqs-self-managed.html\\n[2]> <https://aws.amazon.com/support>"
      }
    ],
    "affectedEntities": [
      {
        "entityValue": "##############"
      }
    ]
  }
}

AWS Health Event의 형식은 위와 같다.

3에서 구성한 Lambda 함수를 테스트해 보자. Test event의 Event JSON에 위 내용을 넣고 test를 수행헀을 때, 목표로 했던 base에 데이터가 잘 입력되면 성공. 만약 에러가 발생하거나 데이터가 입력되지 않은 경우, 1번부터 돌아가 다시 살펴보자.

 

 

 

6. EventBridge Rule 생성

⚠️ 주의 ⚠️
EventBrdige Rule이 생성된 리전에 대한 aws health event만 적용이 된다.
여러 리전의 Health Event를 Airtable로 받아보고 싶은 경우, 각 리전에서 아래와 같은 EventBridge Rule을 생성하자.

• Rule type: Rule with an event pattern (standard rule)
• Event source: AWS events or EventBridge partner events
• Event pattern: Health에서 발생하는 모든 이벤트를 수신하고 싶기 때문에 아래와 같은 Event pattern을 설정한다.

{
  "source": ["aws.health"]
}

 

• Target: 3에서 생성한 Lambda function의 arn 입력

EventBridge를 위와 같이 설정하면 Lambda Console에서 위와 같이 EventBridge가 트리거 소스로 추가됐음을 확인할 수 있다.

 

 

 

7. 확인

AWS Health Dashboard > Event log에서 확인되는 정보가 Airtable 테이블에 잘 저장되는지 확인해 보자.

 

 

 

 

🔗 참고 링크

• AWS Docs: AWS Health