[AWS Datasync] DataSync를 이용한 S3 간 데이터 복사

☄️ 개요

S3 버킷의 데이터를 같은 계정, 같은 리전에 있는 다른 S3 버킷으로 옮겨야 한다.

# aws s3 cp <LocalPath> <S3Uri> or <S3Uri> <LocalPath> or <S3Uri> <S3Uri>
# cp: 업로드/다운로드 & rsync: 변경된 파일만 추적하여 업로드/다운로드
aws s3 cp {source} {destination} --recursive

S3 CLI (aws s3 cp)로 로컬에 다운로드 후 다시 목적지 버킷에 데이터를 업로드하기에는 데이터 양이 많아 다른 방법을 이용하고자 한다.

 

 

💡 AWS DataSync란?

파일 또는 객체 데이터를 AWS 스토리지 서비스 간에 빠르고, 쉽고, 안전하게 전송할 수 있도록 지원하는 온라인 데이터 이동 및 검색 서비스이다. 데이터 마이그레이션을 간소화할 수 있다. 온프레미스 스토리지↔AWS, AWS 스토리지 서비스 간(타 리전 간에도 가능), 타 cloud 스토리지 서비스↔AWS 스토리지 서비스 간 데이터 이동이 가능하다. AWS DataSync로 이동할 수 있는 데이터 위치는 여기서 확인할 수 있다. DataSync를 이용하면 전송할 데이터의 파일 확장자, 객체 및 폴더 패턴을 필터링하여 전송할 수 있다.

 

---

 

 

🔫  사용 방법

1. IAM Role 생성하기

Datasync 서비스에 부여할 IAM 역할을 생성한다. 역할에 AWS Managed Policy인 AWSDataSyncFullAccess와 AWSDataSyncReadOnlyAccess를 연결한다. 추가로 목적지와 출발지가 될 S3 버킷을 명시한 아래 inline 정책을 연결한다. Resource의 S3 버킷 ARN을 다르게 작성하여 출발지와 목적지 bucket의 권한을 각각 분리해서 적용해주는 것도 좋다. 단, s3:GetBucketLocation, s3:ListBucket, s3:ListBucketMultipartUploads는 출발지, 목적지 버킷에 공통으로 허용해야 한다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetBucketLocation",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:s3:::{bucket-name}"
        },
        {
            "Action": [
                "s3:AbortMultipartUpload",
                "s3:DeleteObject",
                "s3:GetObject",
                "s3:ListMultipartUploadParts",
                "s3:GetObjectTagging",
                "s3:PutObjectTagging",
                "s3:PutObject"
              ],
            "Effect": "Allow",
            "Resource": "arn:aws:s3:::{bucket-name}/*"
        }
    ]
}

신뢰 관계는 아래와 같이 적용한다.

// Trust Relationship
{
    "Version": "2012-10-17",
    "Statement": [{
        "Effect": "Allow",
        "Principal": {
            "Service": "datasync.amazonaws.com"
        },
        "Action": "sts:AssumeRole",
        "Condition": {
            "StringEquals": {
                "aws:SourceAccount": "{account-id}"
            },
            "StringLike": {
                "aws:SourceArn": "arn:aws:datasync:{region}:{account-id}:*"
            }
        }
    }]
}

 

2. DataSync Location 생성하기

출발지, 목적지 별 Location(데이터 전송 위치)을 생성한다. S3로 location type 지정 시, 이동할 데이터가 있는 folder prefix를 지정할 수 있다.

3. DataSync Task 생성하기

DataSync Task는 Datasync가 데이터를 전송하는 출발지와 목적지, 전송 방법을 구성한다. 특정 폴더를 제외하거나 특정 파일 형식만 포함하는 것과 같이 원하는 데이터만 복사할 수 있도록 task를 구성할 수 있으며, 모든 데이터 또는 변경된 데이터만 전송할 수도 있다. (선택) CloudWatch Log Group에 로깅을 하기 위해서는 로그 그룹 지정 및 1에서 생성한 Role에 cloudwatch log group에 로깅 권한을 추가로 부여해야 한다.

Task 생성 후, Start > Start with defaults 버튼을 선택하여 데이터 전송을 시작할 수 있다. 

 

 

📝 느낀 점

Source S3 버킷에 데이터가 실시간으로 쌓이지 않아 단 한 번의 데이터를 같은 리전, 같은 계정의 버킷에 일괄 복사하면 되는 간단한 작업이었는데, DataSync를 통해 더욱 간편하게 해결할 수 있었다. 데이터 복사 성공 ~ 😇

 

---

 

🔗 참고 링크

1. AWS Docs: What is AWS DataSync?
2. AWS Docs: Configuring AWS DataSync transfers with Amazon S3
3. AWS Repost: Why can't I copy an object between two Amazon S3 buckets?