AWS - DB service(Redshift)

ㆍAmazon Redshift

   : PostgreSQL에서 파생된 데이터 웨어하우스 서비스로, 복잡한 계산을 포함하는 분석 쿼리 처리에 적합함.

 

ㆍ기능 및 특징

    - 데이터 웨어하우스 서비스 : 완벽 관리되는 페타바이트 급의 데이터 웨어하우스 서비스임.

    - PostgreSQL 기반 : PostgreSQL 기반으로 DB와 분석 엔진을 결합하여 제공

    - 온라인 분석 처리(OLAP / Online Analytical Processing) : OLAP유형 DB, 분석과 데이터 웨어하우징에 사용

    - 열 기반 스토리지 : 열기반 데이터 스토리지 사용, 병렬 쿼리 엔진을 사용하기 때문에 빠른 쿼리 성능을 제공함

    - BI(Business Intetlligence) 도구 통합 : Quicksight, Tableau 등 BI 도구와 통합 가능

    - S3 통합 : S3의 모든 데이터를 로드한 후 인덱스를 생성하여, 더 빠른 쿼리와 조인/통합이 가능

    - 리더노드와 컴퓨팅 노드

      ▪️ 리더노드 : 쿼리 계획 수립, 결과 집계

      ▪️ 컴퓨팅 노드 : 쿼리 실행, 리더 노드로 전송

    - Redshift 클러스터 : 노드 크기를 미리 프로비저닝, 클러스터는 한 개의 가용 영역에만 존재(다중 AZ 미 지원)

       * 다중 AZ를 미지원한다고해서 고가용성을 지원하지 않는 것은 아님!

         '자동 백업과 복구 → 스냅샷 복사 → 클러스터 재시작' 해당 방법으로 고가용성을 제공할 수 있음

    - 재해 복구 : 스냅샷을 이용하여 클러스터의 지정복구시간을 사용,

                         해당 방법은 S3내부에 증분 백업되며 다른 리전에도 자동복사 가능

    - 데이터 주입 방법

      ▪️ Amazon Kinesis Data Firehose를 사용

      ▪️ S3에 데이터 로드 후 Redshift에서 COPY명령 사용(인터넷을 통하는 방법과 VPC를 통하는 두가지 방법)

      ▪️ JDBC 드라이버 사용

    - Redshift Spectrum : S3에 있는 데이터를 쿼리를 실행하는 기능,

                                       Redshift Spectrum노드에 쿼리가 제출되어 S3에서 Redshift로 데이터를 로드하지 않음

 

* Redshift와 RDS의 차이

 1. Redshift는 OLAP(보고 및 분석)에 사용하며,

     RDS는 OLTP(온라인 트랜잭션 프로세싱) 워크로드에 사용한다.

  2. Redshift는 대용량 데이터 세트를 대상으로 복합 분석 쿼리를 빠르게 실행하는 것이 목표임.

      RDS는 단일 행 트랜젝션에 목표를 둠.