1. Airflow 란?* Airflow 란 워크플로우(workflow) 관리 플랫폼으로, 데이터 파이프라인을 자동화하고 오케스트레이션하는 데 사용됩니다. 주로 ETL(Extract, Transform, Load) 작업, 데이터 처리, 머신러닝 파이프라인 관리 등에 활용됨 Airflow를 사용하게 된 계기는 프로젝트 진행 중 API를 통해 Data를 주기적으로 수집해오고 DB에 적재하는 과정을 반복해야 했고 이 과정을 자동화 시키고 코드 실행 여부만을 모니터링 하고자 했음Airflow는 작업을 파이썬으로 쉽게 스케줄링 할 수 있고 UI를 통해 수집 결과 모니터링 및 로그 확인이 가능하다는 장점이 있어서 프로젝트에 적용하기로 했음 결과적으로는 데이터 수집, 변환, 적재 과정을 자동화 하여 데이터를 프로젝트..