데이터 파이프 라인

데이터 파이프 라인 이란

- 다양한 데이터 소스로부터 원시 데이터를 수집하여 분석을 위해 데이터 웨어하우스와 같은 별도의 데이터 저장소로 이전하는 과정

 

 

데이터 파이프 라인을 만드는 이유

- 다양한 경로로부터 수집되는 데이터를 웨어하우스에 적재

- 적재한 데이터를 바탕으로 효과적인 분석

- MLOps 를 실천하기 위한 필수적인 준비 단계

 

 

OLTP란?

- Online Transaction Processing

- 기본적인 CRUD 작업인 트랜잭션에  포커스가 맞춰져 있는 데이터 베이스

- OLAP 처럼 데이터 분석이 가능하긴 하지만 테이블 조회가 복잡해지며 기본적인 트랜잭션에 성능 문제를 일으킬 수 있다. 

 

OLAP란?

- Online Analytical Processing

- 적재된 데이터를 다양한 방법으로 분석하는 것이 주 목적

- 데이터 기반의 의사결정 도구

- 다양한 관점의 분석에 적합

- 다양한 데이터 소스로 부터 수집되는 데이터를 통합하는데 목적

- OLTP가 지원하는 몇가지 기능을 포기하면서 빠른 분석 성능 달성