ETL 과 ELT

ETL 과 ELT

- 데이터 파이프라이는 ETL, ELT 같은 용어로 표현된다.

- ETL과 ELT는 순서 차이이다.

 

E = Extract (추출)

L = Load (적재)

T = Transform (변환)

       - 변환은 비정형 데이터의 정형과정 등이 포함될 수 있다.

 

ETL 특징

- 추출 -> 변환 -> 적재

- 적재하는 과정에서 변환이 이루어짐 (Schema-on-Write)

- 적재된 데이터는 이미 정형화 되어있기 때문에, 비즈니스 분석 및 시각화에 용이

 

ELT 특징

- 추출 -> 적재 -> 변환

- 적재하고 나서 분석을 시작하며 변환 (Schema-on-Read)

- 비정형 데이터 분석에 주로 사용된다 -> 정형화 데이터 분석보다 느림 (더 복잡하기 때문)

- 최근 클라우드의 발전, 빅데이터 (TB,PB 등 크기의 데이터) 적재 전 변환과정이 병목이 될 수 있다는 이유에서 ELT를 사용하기도 함 

 

추출 대상 

- 관계형 데이터 베이스 (RDBMS)

- NoSQL

- 텍스트 파일 (JSON, log, txt 등)

- SaaS로부터 생성되는 데이터 (Ads 와 같은 광고 데이터)

- 데이터 레이크 (비정형 데이터를 포함해 원시 데이터를 저장하는 공간)

 

적재 대상

- 데이터 웨어하우스