[AWS Kinesis Data Firehose] Cross-Account 환경에서 다른 계정의 S3 Bucket에 실시간 데이터 스트리밍하기

☄️ To-Be Architecture

To-be Architecture

Cross-Account 환경에서 Firehose Data Stream을 이용하여 S3 버킷에 실시간으로 데이터를 직접 전송(Direct PUT) 및 저장해보자.

 

 

 

💡 Amazon Kinesis Data Firehose란?

• 아래의 목적지로 실시간 스트리밍 데이터를 전송할 수 있는 AWS managed service
  • AWS 서비스 : Amazon S3, Amazon Redshift, Amazon OpenSearch Service, Splunk
  • HTTP 엔드포인트
  • 써드파티 서비스(Datadog, Dynatrace, LogicMonitor, MongoDB, New Relic, Sumo Logic)를 이용한 HTTP 엔드포인트
• 사용 방법 : Kinesis Data Firehose 전송 스트림을 생성한 다음 데이터를 전송한다.

 

---

 

🔫  Problem Solving

1. [A account] S3 Bucket 생성

• S3 버킷 정책 적용

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Allow access from B account",
            "Effect": "Allow",
            "Principal": {
                "AWS":"arn:aws:iam::{B-account-id}:root"
            },
            "Action": "s3:*",
            "Resource": [
                "arn:aws:s3:::{A-account-bucket-name}/*",
                "arn:aws:s3:::{A-account-bucket-name}"
            ]
        }
    ]
}

---

2. [B account] Firehose Delivery Stream에 적용할 IAM Policy 및 Role 생성

2-1. IAM Policy 생성

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "",
            "Effect": "Allow",
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:PutObject",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::{A-account-bucket-name}/*",
                "arn:aws:s3:::{A-account-bucket-name}"
            ]
        }
    ]
}

2-2.  IAM Role 생성

IAM Role 생성

• 2-1에서 생성한 IAM Policy를 연결
• IAM Role의 신뢰관계(Trusted relationships) 수정

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "firehose.amazonaws.com"
            },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                    "sts:ExternalId": "{B-account-id}"
                }
            }
        }
    ]
}

(참고 : stsLExternalId 값으로 {A-account-id}를 넣고 3번을 수행하면 아래와 같이 출력되며 delivery stream이 생성되지 않는다.)

An error occurred (InvalidArgumentException) when calling the CreateDeliveryStream operation: Firehose is unable to assume role arn:aws:iam::{B-account-id}:role/hyeonju-firehose-role. Please check the role provided.

---

3. [B account]에 접속한 상태에서 AWS CLI를 이용하여 Firehose 전송 스트림을 생성한다.

• 콘솔에서 Firehose 전송 스트림을 생성하는 경우 다른 계정의 S3 버킷은 목적지로 지정하는 것이 불가능하기 때문에 AWS CLI를 이용하여 생성하는 것을 권장한다.

aws firehose create-delivery-stream
	--delivery-stream-name {delivery-stream-name}
    	--delivery-stream-type DirectPut
	--extended-s3-destination-configuration RoleARN={2-2에서 생성한 IAM Role ARN},BucketARN={1에서 생성한 S3 Bucket ARN}

• 다른 옵션을 주고 싶다면 ⇒ 참고 : AWS CLI Doces: create-delivery-stream
• 위 명령어가 정상적으로 실행되면 아래와 같은 전송스트림 ARN이 JSON 형식으로 출력된다.

{
    "DeliveryStreamARN": "arn:aws:firehose:ap-northeast-2:{B-account-id}:deliverystream/{delivery-stream-name}"
}

---

4. 테스트

• B Account로 AWS Kinesis 콘솔에 접속하면 Delivery Stream이 생성된 것을 확인할 수 있다.
• [Test with demo data] 탭에서 [Start sending demo data] 버튼을 눌러 S3에 스트리밍 데이터를 전송해보자.

• A Account의 S3 버킷에 데모 데이터가 잘 들어왔음을 확인할 수 있다.

성공~~!

 

 

 

---

🔗 참고 링크

1. Wiki: Cross Account AWS S3 Bucket Delivery in Kinesis Firehose
2. AWS Docs: Controlling Access with Amazon Kinesis Data Firehose
3. AWS Docs: Amazon S3 버킷에 있는 객체에 대한 교차 계정 액세스 권한을 제공하려면 어떻게 해야 하나요?
4. AWS CLI Doces: create-delivery-stream
5. AWS Docs: Amazon Kinesis Data Firehose Firehose란 무엇입니까?