클라우드 네이티브부터 자동화까지: 데이터 오케스트레이션 이해하기

1. 데이터 오케스트레이션의 현대: 데이터 단편화에서 협업으로 (The Modern Era of Data Orchestration: From Data Fragmentation to Collaboration)

https://dzone.com/articles/the-modern-era-of-data-orchestration

The Modern Era of Data Orchestration

 

 

[요약정리]

데이터 오케스트레이터의 역할과 데이터 엔지니어링과 소프트웨어 엔지니어링의 상충된 관계의 폭을 좁히는 방법에 대한 내용이다. 

데이터 처리와 통합의 새로운 접근 방식에 대해 데이터를 관리하고 최적화하는 방법론이 중요하다.

특히 클라우드 네이티브 인프라, 자동화, 통합 플랫폼의 도입이 데이터 파이프라인의 효율성을 높이는 데 중요한 역할을 한다.

 

 

1. 데이터 오케스트레이션💡

1.1. 데이터 오케스트레이션이란?

데이터를 수집, 가공, 전달하는 일련의 과정을 자동화하여 효율성을 극대화하는 작업

최근에는 클라우드 네이티브 접근, 데이터 파이프라인 자동화, 통합 플랫폼이 데이터 오케스트레이션의 핵심 요소로 자리 잡고 있다.

그렇다면, 데이터 오케스트레이션이 왜 중요할까?

 

1.2. 데이터 오케스트레이션이 중요한 이유?

데이터 엔지니어링과 소프트웨어 엔지니어링의 협업 강화를 위해서다.

다양한 데이터 소스와 애플리케이션을 하나로 연결하여 데이터 흐름을 원활하게 하기 위해 필요하다.

 

1.3. 데이터 파이프라인 흐름

 

1. Data Sources :

데이터베이스, 메시지 큐, REST API 등 다양한 데이터 소스를 중앙 시스템으로 보낸다.

 

2. Convert to Parquet :

데이터는 Parquet 포맷으로 변환한다. Parquet(파케이)는 열 기반 저장 포맷으로 대규모 데이터 분석에 효율적이다. 데이터 분석, 저장소에 최적화하기 위해 Parquet 포맷으로 변환하는 것!

 

3. Object Storage :

변환된 Parquet 파일들은 오브젝트 스토리지 적절한 테이블에 저장된다.

 

4. Query Engine :

DuckDB, Apache Spark와 같은 쿼리 엔진을 사용한다.

DuckDB: 단일 노드에서 실행되며 탐색적 데이터 분석 (Exploratory Data Analysis)와 기능 엔지니어링(Feature Engineering)에 주로 사용된다.

Apache Spark: 분산 처리에 효과적이며 대규모 데이터 집합을 분석하거나 비즈니스 인텔리전스에 사용된다.

 

5. Data Services :

데이터 서비스 레이어는 데이터 관찰 가능성(Observability), 품질 관리(Quality), 컴플라이언스(Compliance) 등을 포함하여 데이터 일관성과 신뢰성 유지에 도움을 준다.

 

6. SaaS Tools :

마케팅, 회계, CRM 같은 SaaS 도구와의 통합을 통하여 비즈니스 데이터가 다양한 SaaS 플랫폼으로 전달된다.

 

7. 최종적으로는 데이터를 탐색적 분석, 기능 엔지니어링, 비즈니스 인텔리전스 및 데이터 거버넌스에 활용할 수 있게 된다!

 

2. 데이터 오케스트레이션의 주요 개념📘

2.1. 클라우드 네이티브 

클라우드 컴퓨팅 환경에서 현대적 애플리케이션을 구축, 배포 및 관리할 때 소프트웨어 접근 방식

• 데이터 오케스트레이션에서 클라우드 환경은 기본이라고 할 수 있다.
• 클라우드 네이티브 인프라는 확장성, 유연성, 비용 효율성이 강점이며, 데이터 실시간 처리와 빠른 배포를 제공한다.

 

2.2. 자동화와 데이터 파이프라인

• 빅데이터 증가로 인해 자동화 필요성이 점점 커지고 있다.
• 데이터 오케스트레이션은 파이프라인의 각 단계(반복되는 작업)를 자동화하고 오류를 줄여 데이터 품질을 유지해 준다.
• 이를 통해, 전문가들이 분석 작업에만 더 집중할 수 있게 된다!
• 파이프라인의 자동화는 데이터 흐름을 더 안정적이고 빠르게 만들어준다.

 

2.3. 통합 플랫폼과 거버넌스

통합 플랫폼은 다양한 데이터 소스와 시스템을 통합하여 일관된 데이터 관리를 돕는다.

• 데이터 통합의 필요성이 커지면서 데이터를 효율적으로 관리하고 접근 제어를 강화하는 통합 플랫폼의 역할이 중요해지고 있다.
• 여러 시스템 간의 데이터 이동을 원활하게 하여 비즈니스에 필요한 데이터 가시성을 확보하고 거버넌스를 강화한다.
• 통합 플랫폼은 데이터 파이프라인에서 각기 다른 시스템을 연결하고 일관된 정책을 적용하여 데이터 보안과 규제 준수를 유지해 준다.

 

 

3. 데이터 오케스트레이션 Tool🔧

데이터 오케스트레이션을 효과적으로 수행하기 위한 다양한 도구들을 정리해보려고 한다.

데이터 엔지니어링과 파이프라인 최적화에 큰 도움을 주기도 한다(일부 도구만 해당).

 

3.1. Apache Airflow

• 오픈 소스 워크플로우 관리 도구
• DAGs(Directed Acylic Graphs)를 사용하여 데이터 파이프라인을 구성하고 자동화한다
• 강력한 스케줄링, 모니터링 기능
• 쉬운 파이프라인 단계의 의존성 관리

3.2. Prefect

• Python 기반 데이터 파이프라인 도구
• 설정과 코드 간의 균형을 잘 맞추며, 유연성을 제공
• 오류 처리 강화를 통한 워크플로우 안정성 향상
• Airflow보다 비교적 사용법이 쉽다는 평이 있다

3.3. dbt(Data Build Tool)

• 데이터 변환에 중점을 둔 도구
• SQL을 통해 데이터 모델을 만들고 관리한다
• 쉽게 데이터 파이프라인을 구성하고, ETL 작업을 효율적으로 수행할 수 있다

3.4. Dagster

• Airflow의 새로운 경쟁자라고도 불리는 데이터 오케스트레이션 도구
• 데이터 파이프라인에서 각 단계를 테스트할 수 있어 파이프라인의 신뢰성을 높여준다
• 데이터 의존성과 파이프라인 재실행 시에도 유용하게 활용되는 도구다

 

 

 

---

 

🤔 이에 대한 나의 생각

이번에 처음으로 ‘데이터 오케스트레이션’이라는 개념을 접하게 되어 흥미로웠다. 

또 데이터 엔지니어링 분야에서의 클라우드와 자동화 기술이 데이터 엔지니어링에서 얼마나 중요한지 다시금 느낄 수 있었다.

지나가며 들은 도구(에어플로우 등)에 대한 기본 개념도 정리해 볼 수 있는 시간이었다.

 

특히 클라우드 네이티브 인프라의 도입이 데이터 관리 및 처리의 패러다임을 바꾸고 있어 미래에는 더 높은 자동화 수준을 요구하는 데이터 시스템이 구축될 것이라는 생각도 든다!ㅎㅎ

 

또한, 이번 포스팅을 통해 자주 사용하는 IT 및 데이터 관련 용어를 정리하고, 필요할 때마다 다시 공부하는 습관을 들이려고 한다!

그동안 이래저래 너무 바빠서 동향 파악을 못했으니까 ㅠㅠ