데이터 엔지니어의 주요 작업 영역

분석가는 준비된 데이터로 차트와 대시보드를 만듭니다. 데이터 엔지니어는 분석에 필요한 데이터가 만들어지는 과정을 담당합니다.

D.Hub에서 데이터 엔지니어의 작업은 커넥터, 파이프라인, 코드, 데이터셋 영역으로 나뉩니다. 각 영역에서 수행한 작업의 결과는 데이터셋으로 연결됩니다.

엔지니어가 자주 다루는 영역

1. 데이터 연결(커넥터) — DB, S3, REST API와 같은 외부 시스템에 접속할 연결 정보를 등록합니다. 등록 화면에서는 인증 정보와 호스트 등을 설정하며, 테이블 탐색·스키마 매핑·데이터셋 생성은 하지 않습니다.
2. 파이프라인(Pipelines) — 컬렉션의 입력 데이터셋, 구체적인 변환 노드, 출력 데이터셋을 캔버스에서 연결해 작업 흐름을 구성합니다.
3. 코드(Codes) — Python 또는 SQL 코드를 관리합니다. 파이프라인의 변환 노드에서 호출하거나 별도로 실행할 수 있습니다.
4. 데이터셋(Datasets) — 커넥터, 파이프라인, 코드의 처리 결과가 저장됩니다. 분석가는 이 데이터셋을 차트와 대시보드의 입력으로 사용합니다.

네 영역의 최종 결과가 데이터셋으로 모인다는 점이 중요합니다. 엔지니어가 만든 데이터셋은 분석가의 컬렉션 탐색기에 표시되고 위젯의 데이터 소스로 사용됩니다. 데이터셋은 두 역할을 연결합니다.

익숙한 도구와 비교해 보기

dbt, Airflow, Snowflake로 데이터 파이프라인을 운영해 본 경험이 있다면 다음 표를 참고해 D.Hub의 영역을 이해할 수 있습니다. 레슨 02부터는 D.Hub의 용어만 사용합니다.

기존 도구와 비교했을 때 D.Hub에는 두 가지 차이가 있습니다.

• DAG와 모델을 한 화면에서 확인합니다. Airflow의 task graph와 dbt의 모델 의존 그래프를 따로 관리하지 않고, 하나의 파이프라인에서 입력 데이터셋, 이름변경/형변환 같은 변환 노드, 출력 데이터셋의 연결을 함께 확인할 수 있습니다.
• 모든 테이블을 데이터셋으로 관리합니다. source 테이블과 마트 테이블은 컬렉션, 권한, 태그로 구분하며 데이터를 저장하는 엔진은 화면에 드러나지 않습니다.

이 표는 기존 도구의 개념을 기준으로 D.Hub에서 사용할 영역을 빠르게 찾기 위한 참고 자료입니다. D.Hub가 dbt와 Airflow를 동일한 방식으로 대체한다는 의미는 아닙니다.

분석가와 엔지니어의 역할 분담

분석가와 엔지니어가 같은 포털에서 작업할 때는 담당 범위를 미리 정하는 것이 좋습니다. 일반적으로 다음과 같이 역할을 나눕니다.

조직의 규모에 따라 한 사용자가 두 역할을 모두 담당할 수도 있습니다. 이 코스에서는 데이터 엔지니어가 담당하는 영역과 작업을 기준으로 학습을 진행합니다.

다음 레슨

첫 단계인 데이터 연결로 들어가 커넥터를 등록하고 연결을 테스트합니다. 등록과 실제 데이터 적재가 왜 별도 단계인지도 함께 확인합니다.