데이터 엔지니어 코스

코스 소개

D.Hub를 처음 사용하는 데이터 엔지니어를 위한 코스입니다.

외부 시스템의 데이터를 가져와 변환하고, 파이프라인을 자동으로 실행하고, 문제가 발생했을 때 원인을 찾아 해결하는 전체 흐름을 배웁니다. 코스는 6개 레슨으로 구성되어 있으며 약 50분이 걸립니다.

6개 레슨은 외부 데이터에서 분석가 인계까지 하나의 운영 흐름으로 이어집니다.

flowchart LR
    accTitle: 데이터 엔지니어 코스 전체 흐름
    accDescr: 외부 시스템을 커넥터로 연결하고 파이프라인과 Code로 데이터를 변환해 데이터셋에 저장한 뒤 스케줄과 실행 모니터링을 거쳐 분석가에게 인계하는 흐름입니다.
    external[(외부 시스템)] --> connector[커넥터·수집]
    connector --> pipeline[파이프라인]
    pipeline --> code[Code 변환]
    code --> dataset[(결과 데이터셋)]
    schedule[스케줄] --> pipeline
    pipeline --> monitor[실행·오류 모니터링]
    dataset --> handoff[분석가 인계]

시작 전에 알아둘 용어

• 커넥터: 외부 데이터베이스나 서비스에 연결하기 위한 접속 방식과 설정입니다.
• 파이프라인: 입력 데이터를 순서대로 읽고 변환해 원하는 대상에 저장하는 실행 흐름입니다.
• 입력 데이터셋: 파이프라인이 읽을 데이터가 저장된 기존 데이터셋입니다.
• 출력 데이터셋: 변환 결과를 저장할 데이터셋입니다. 입력과 출력은 같은 데이터셋 자원이며 파이프라인에서 연결되는 위치로 역할이 구분됩니다.
• 변환 노드: 입력 데이터의 컬럼을 선택하거나 이름과 타입을 바꾸고, 조인·집계하는 처리 단계입니다.
• 코드 노드: 표준 처리만으로 부족한 변환을 Python이나 SQL로 작성하는 파이프라인 단계입니다.

사전 준비

• D.Hub 포털 접근 권한(편집자 이상). 커넥터 등록과 파이프라인 실행 권한이 필요합니다.
• 분석가 코스를 완료했거나 컬렉션과 데이터셋의 기본 개념을 알고 있어야 합니다.
• 다음 중 하나의 실습용 데이터
  • 사내 운영 DB의 읽기 전용 계정 또는 src_postgres_orders.csv

dbt, Airflow, Snowflake와 같은 도구를 사용해 본 경험이 있다면 D.Hub의 개념을 더 빠르게 이해할 수 있습니다.

완료 후 할 수 있는 것

• 커넥터, 파이프라인, 코드, 데이터셋의 역할과 입출력을 설명할 수 있습니다.
• 외부 시스템에 커넥터를 등록하고 운영 데이터를 D.Hub 데이터셋으로 가져올 수 있습니다.
• 워크플로 편집기에서 입력 데이터셋 → 변환 노드 → 출력 데이터셋을 연결하고 실행할 수 있습니다.
• 표준 노드로 처리하기 어려운 변환을 Python 또는 SQL 코드 노드로 작성할 수 있습니다.
• 파이프라인을 정해진 주기로 자동 실행하고 실패 알림을 설정할 수 있습니다.
• 실행 로그와 노드 상태를 확인해 실패 원인을 찾고 재실행 방법을 선택할 수 있습니다.
• 데이터셋의 권한과 메타데이터를 정리해 분석가에게 전달할 수 있습니다.

이 코스 다음에 무엇이 있을까

추가적으로 진행하고 싶다면 다음 과정을 이어서 학습해 보세요.

• 리테일 재고와 가격 경쟁력 분석하기 — 커넥터, 파이프라인, 코드 노드, 스케줄을 하나의 도메인 시나리오에서 함께 실습합니다. 분석가와 엔지니어의 전체 작업 흐름을 다루는 90분 과정입니다.
• Python으로 시나리오 가져오기 — dhub2-examples 시나리오를 한 줄의 명령으로 자신의 환경에 가져옵니다. 워크숍 1단계에서 사용하는 도구를 미리 연습할 수 있습니다.
• 분석가 코스 — 자신이 만든 데이터셋이 분석가의 컬렉션 탐색기에서 어떻게 보이고 사용되는지 확인합니다. 레슨 06의 인계 과정을 분석가의 관점에서 살펴볼 수 있습니다.

각 레슨 옆의 체크박스를 선택하면 학습 진행 상황이 자동으로 저장됩니다.