[Amazon Athena] Athena Partition Projection을 이용하여 쿼리 성능 높이기

개요

Athena를 이용하여 S3 Bucket에 있는 데이터를 검색한다. S3 버킷에는 실시간으로 데이터가 저장되고 있으며, Athena에서 쿼리 했을 때 더 빠른 검색 결과를 얻기 위해 데이터 파티셔닝이 필요하다. Athena Partition projection을 이용해 보자.

 

 

들어가기 전

파티셔닝이란?

큰 Table이나 인덱스를 관리하기 쉬운 단위로 분리하는 방법을 의미한다. 데이터를 분할하면 각 쿼리가 스캔하는 데이터의 양을 제한하여 성능을 향상하고 비용을 절감할 수 있다. 파티셔닝에 대한 상세 내용은 여기 참조.

 

Amazon Athena란?

Amazon S3에 있는 데이터를 직접 간편하게 분석할 수 있는 대화형 쿼리 서비스. 데이터를 포맷하거나 인프라 또는 클러스터를 관리할 필요가 없다. 데이터에 대한 테이블을 정의하고 표준 SQL을 사용하여 쿼리를 시작하기만 하면 된다.

Athena는 Amazon S3에 저장된 비정형, 반정형 및 정형 데이터를 분석하는 데 도움이 된다 : CSV, JSON 또는 컬럼 방식 데이터 형식(ex: Apache Parquet 및 Apache ORC) 등.

Athena는 S3에서 데이터에 대한 지속적 메타데이터 스토어를 제공하는 AWS Glue Data Catalog와 통합된다. Athena는 AWS Glue Data Catalog를 사용해 AWS 계정의 Amazon S3 데이터에 대한 테이블 메타데이터를 저장하고 검색한다. Athena 쿼리 엔진은 테이블 메타데이터를 통해 쿼리 하려는 데이터를 찾고, 읽고, 처리할 방법을 파악한다.

 

AWS Glue란?

AWS Glue는 AWS의 완전 관리형 추출(Extract), 변환(Transform), 로드(Load) 서비스이다. 주요 기능 중 하나는 데이터를 분석하고 분류하는 것이다. Glue Data Catalog는 데이터 소스(S3)와 대상 간의 메타데이터를 관리하기 위한 메타데이터 저장소이다. 테이블 정의, job 정의와 다른 관리 정보를 포함하며, 각 AWS account는 리전당 하나의 AWS Glue Data Catalog를 가질 수 있다.

Glue data catalog

“테이블의 메타정보를 저장하는 장소로는 Hive metastore에서 파생된 Glue data catalog를 사용하고 있습니다. schema-on-write인 일반적인 데이터베이스와는 다르게 schema-on-read인 데이터 카탈로그에는 테이블 정보와 실제 테이블의 데이터가 저장된 S3 경로가 포함되어 있습니다. 덕분에 데이터를 사용하기 위해 전체 경로를 직접 입력하지 않고도 데이터베이스 이름과 테이블 이름으로 테이블을 찾아 쿼리할 수 있습니다.” - 출처 

 

Athena에서 데이터 분할 (partitioning)

데이터를 분할(partition)하여 Athena 쿼리가 스캔하는 데이터의 양을 제한하여 쿼리 성능을 향상하고 비용을 절감할 수 있다. Apache Hive 스타일의 partition을 사용할 수도 있고, 비 Hive 스타일의 파티션 체계를 사용할 수도 있다. Apache Hive와 호환되지 않는 데이터의 경우 Athena에서는 ALTER TABLE ADD PARTITION을(를) 사용하여 파티션을 수동으로 추가할 수 있다. (참고 : Athena에서 데이터 분할)

ex) CloudTrail 로그 및 Kinesis Data Firehose 전송 스트림: data/2023/07/19/4 ge87b2.json과 같은 날짜 부분에 대해 별도의 경로 구성 요소를 사용한다.

ALTER TABLE {database_name}.{table_name}
ADD IF NOT EXISTS PARTITION (partition_col_name = partition_col_value [,...])
LOCATION 's3://{bucket}/{partition_location}'".format(
            database_name=AuditingGlueDatabaseName,
            table_name=GlueTable,
            account=account,
            region=region,
            date=date,
            bucket=bucket,
            partition_location=partition_location
        );

*Athena에서 사용할 파티션의 위치(location)는 s3 프로토콜을 사용해야 한다.

 

 

🔫 Partition Projection

Partition Projection이란?

Athena에서 partition projection을 사용하여 partition된 테이블의 쿼리 처리 속도를 높이고 파티션 관리를 자동화할 수 있다. Glue Data Catalog에서 메타데이터를 검색할 필요 없이 Athena에서 필요한 파티션 정보를 ‘projection’하거나 결정할 수 있으므로 쿼리 실행 시간을 크게 줄일 수 있다. 파티션 프로젝션에서 Athena는 AWS Glue 테이블의 테이블 속성에서 파티션 값 및 위치를 계산한다.

 

적용 방법

VPC Flowlogs가 기존 S3에 로깅되고 있다. 이 flowlogs 데이터를 Athena에서 효율적으로 쿼리할 수 있도록 partition projection을 적용해보자.

 

VPC Flowlogs가 저장되는 S3 버킷을 Data Store로 Glue table을 생성한다. Schema에는 실제로 데이터 속성 이름과 data type을 지정한다. VPC Flowlogs 기본 설정의 경우 하기와 같은 값들이 데이터에 포함되고 이 순서에 따라 Schema를 지정하면 된다.

${version} ${account-id} ${interface-id} ${srcaddr} ${dstaddr} ${srcport} ${dstport} ${protocol} ${packets} ${bytes} ${start} ${end} ${action} ${log-status}

 

Glue Table의 advanced properties를 아래와 같이 적용한다.

FlowLogsTable:
    Properties:
      CatalogId: !Ref AWS::AccountId
      DatabaseName: !Ref AuditingGlueDatabase
      TableInput:
        Description: !Sub
          - "FlowLogs table for ${S3BucketName} bucket"
          - S3BucketName: !Ref FlowLogsBucketName
        Name: !Ref FlowLogsTableName
        StorageDescriptor:
          Columns:
            - Name: version
              Type: int
            - Name: sourceaccount
              Type: string
            - Name: interfaceid
              Type: string
            - Name: sourceaddress
              Type: string
            - Name: destinationaddress
              Type: string
            - Name: sourceport
              Type: int
            - Name: destinationport
              Type: int
            - Name: protocol
              Type: bigint
            - Name: numpackets
              Type: bigint
            - Name: numbytes
              Type: bigint
            - Name: starttime
              Type: bigint
            - Name: endtime
              Type: bigint
            - Name: action
              Type: string
            - Name: logstatus
              Type: string
          InputFormat: org.apache.hadoop.mapred.TextInputFormat
          OutputFormat: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
          SerdeInfo:
            SerializationLibrary: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
            Parameters:
              field.delim: " "
              serialization.format: " "
          Location: !Sub
            - "s3://${S3BucketName}/"
            - S3BucketName: !Ref FlowLogsBucketName
          # NumberOfBuckets: -1
        PartitionKeys:
          - Name: account
            Type: string
          - Name: region
            Type: string
          - Name: date
            Type: string
        Parameters:
          EXTERNAL: "TRUE"
          skip.header.line.count: "1"
          projection.enabled: true
          projection.account.type: enum
          projection.account.values: account-1, account-2, account-3
          projection.region.type: enum
          projection.region.values: us-east-1,us-east-2,us-west-1,us-west-2,ap-south-1,ap-northeast-1,ap-northeast-2,ap-northeast-3,ap-southeast-1,ap-southeast-2,ca-central-1,eu-central-1,eu-west-1,eu-west-2,eu-west-3,eu-north-1,sa-east-1
          projection.date.type: date
          projection.date.format: yyyy/MM/dd
          projection.date.range: 2023/05/31,NOW
          projection.date.interval: 1
          projection.date.interval.unit: DAYS
          storage.location.template: "s3://VPCFlowLogs-S3-bucket-name/AWSLogs/${account}/vpcflowlogs/${region}/${date}/"
        TableType: EXTERNAL_TABLE
    Type: AWS::Glue::Table

 

필자는 위와 같이 CloudFormation으로 배포하여 아래와 같이 적용되었다.

S3 객체 경로 중 region, account, date에 projection을 하고 각 type과 들어올 수 있는 값, 형식을 명시해주면 손쉽게 파티셔닝이 자동화된다.

 

파티셔닝 자동화 완료 ~!

 

1. AWS Docs: Athena에서 데이터 분할
2. AWS Docs: Amazon Athena를 사용한 파티션 프로젝션
3. AWS Docs: 파티션 프로젝션을 사용하여 Amazon VPC 흐름 로그에 대한 테이블 생성 및 쿼리
4. 기술 블로그: AWS ATHENA 로 VPC FLOW LOG 분석하기 – 1
5. 기술 블로그: AWS ATHENA 로 VPC FLOW LOG 분석하기 – 2
6. 기술 블로그: [AWS] 📚 Athena - Partition Projection 파티셔닝 자동화 하기
7. AWS Docs: CloudFormation User Guide - AWS::Glue::Table StorageDescriptor
8. AWS Docs: Amazon Athena란 무엇인가요?