설정
파이프라인 편집기 상단의 설정에 표시되는 항목과 제약을 설명합니다. 값을 바꾼 뒤에는 창 아래의 저장을 눌러야 적용됩니다.
적용 범위
저장된 파이프라인의 설정 창에는 일반, 일정, 옵션, 공유 및 권한 네 탭이 있습니다.
일반 탭
파이프라인의 식별 정보를 편집합니다.
| 필드 | 설명 |
|---|---|
| 이름 | 시스템 이름을 표시합니다. 변경할 수 없습니다. |
| 별칭 | 사용자에게 표시할 이름을 입력합니다. AI로 값을 제안받습니다. |
| 설명 | 파이프라인의 용도를 입력합니다. AI로 값을 제안받습니다. |
| 태그 | 검색과 분류에 사용할 태그를 입력합니다. AI로 값을 제안받습니다. |
| 토픽 | event 파이프라인이 구독할 이벤트 토픽을 하나 이상 입력합니다. 토픽 추가로 행을 늘리고 각 행의 토픽 제거로 줄입니다. 이름은 249자 이하이며 영문자·숫자·점(.)·밑줄(_)·하이픈(-)만 사용하고 같은 토픽을 중복해 넣을 수 없습니다. |
저장 위치(컬렉션·폴더)는 이 창이 아니라 저장하는 시점에 정해집니다. 컬렉션·폴더에서 편집기로 들어오면 위치가 잠긴 채 표시됩니다. 편집기로 바로 들어오면 저장할 때 컬렉션을 고릅니다. 위치는 컬렉션 트리에서 옮기거나 사본을 만들어 변경합니다.
새 이벤트 파이프라인의 저장 창과 저장 뒤 설정 → 일반은 같은 다중 토픽 값을 편집합니다. 목록과 편집기 유형 배지는 첫 토픽만 표시하고 나머지는 첫-토픽 +N으로 요약하므로, 전체 값은 설정 창에서 확인합니다. event 파이프라인은 이 토픽의 이벤트를 구독하고 일정 탭을 사용하지 않습니다. batch 파이프라인은 토픽을 입력하지 않고 일정에서 반복 실행을 설정합니다.
일정 탭
정기 실행 일정을 설정합니다. event 파이프라인에서는 이 탭이 숨겨집니다. 프리셋(매분·매시간·매일·매주·매월)의 입력 방법은 실행 일정 설정하기에서 확인합니다.
옵션 탭
| 항목 | 설명 |
|---|---|
| 런타임 이미지 | 파이프라인 실행에 사용할 실행 환경 이미지(Docker 이미지)입니다. 비워 두면 기본 이미지가 사용됩니다. |
| Python 패키지 | 추가할 Python 패키지를 한 줄에 하나씩 입력합니다. 새 항목은 패키지명==버전으로 정확한 버전을 지정합니다. |
| 실행 제한 시간 (초) | 배치 실행의 전체 제한 시간입니다. 비워 두면 제한이 없습니다. 제한 시간이 지나면 진행 중인 단계를 마친 뒤 다음 단계를 시작하지 않고 실행을 중지합니다. |
Python 라이브러리를 추가하려면 Python 패키지를 사용합니다. 파이프라인 파드가 시작될 때 설치되며 모든 스텝이 같은 Python 환경을 공유합니다. 패키지를 선언한 배치 파이프라인은 실행 간격이 길어도 파드를 유지합니다.
새로 입력하는 항목은 패키지명==버전 또는 패키지명[extras]==버전 형식으로 작성합니다. URL·Git 주소·로컬 경로·설치 명령 옵션은 입력하지 않습니다. API에서는 파이프라인의 options.packages 배열에 선언합니다.
저장 시에는 입력 형식과 정확한 버전 지정 여부를 검사합니다. 해당 버전의 설치 가능 여부나 이미지에 이미 설치된 패키지와의 호환성을 사전에 검사하지는 않습니다. 추가 설치로 기존 패키지 버전이 바뀌거나 설치·실행이 실패할 수 있으므로, 적용 전에 같은 이미지에서 필요한 버전 조합을 검증합니다.
런타임 이미지는 파이프라인 전체의 실행 환경을 바꿉니다. 임의의 Python·모델 이미지가 아니라 D.Hub pipeliner 실행 규약과 해당 파이프라인의 실행 방식을 지원하는 이미지가 필요합니다. 직접 빌드하려면 관리자에게 배포 버전과 호환되는 pipeliner 기반 이미지와 빌드 환경을 확인합니다. 기본 이미지를 갱신해도 지정한 사용자 이미지가 자동으로 최신 pipeliner로 바뀌지는 않습니다.
공유 및 권한 탭
사용자와 그룹에 파이프라인의 소유자·편집자·뷰어 역할을 부여하거나 변경합니다. 공유 및 권한 탭은 저장된 파이프라인에만 표시됩니다.
개별 노드 쓰기 모드
각 출력의 쓰기 모드는 파이프라인 설정이 아니라 코드 노드의 옵션 탭에서 출력별로 지정합니다.
출력 대상에 따라 선택할 수 있는 모드가 다릅니다.
| 출력 대상 | 모드 | 동작 |
|---|---|---|
| 데이터셋 | 추가 (append, 기본) | 결과 행을 기존 데이터 뒤에 추가합니다. 같은 행을 다시 보내도 중복을 제거하지 않습니다. |
| 데이터셋 | 전체 교체 (overwrite) | 결과 행으로 테이블 전체를 교체합니다. 결과에 없는 기존 행은 삭제합니다. |
| 데이터셋 | 파티션 교체 (overwrite_partitions) | 결과에 포함된 파티션의 행을 교체합니다. 포함되지 않은 파티션은 유지합니다. |
| 엔티티·관계 | 병합 (upsert, 기본) | 식별 키가 같으면 전달한 컬럼을 갱신하고, 새 키이면 행을 추가합니다. 결과에 없는 기존 행은 유지합니다. |
| 엔티티·관계 | 삽입 (insert) | 새 행을 추가합니다. 기존 행이나 같은 결과 안의 행과 식별 키가 겹치면 실패합니다. |
| 엔티티·관계 | 전체 교체 (overwrite) | 결과 행으로 테이블 전체를 교체합니다. 엔티티를 참조하는 관계가 있으면 종속 관계 처리 설정을 확인해야 합니다. |
파티션 교체에는 파티션 컬럼을 1개 이상 지정합니다. 컬럼 이름을 입력하고 Enter 또는 쉼표로 구분합니다. 예를 들어 year, month를 지정하고 2026년 9월 데이터만 반환하면 해당 월의 행만 교체합니다. 같은 파티션에서 유지할 행도 결과에 포함해야 합니다.
결과가 0행이면 추가 / 병합 / 삽입 / 파티션 교체는 기존 행을 유지합니다. 전체 교체는 테이블을 비우므로, 수집 실패를 빈 결과로 반환하지 않도록 확인합니다. 엔티티 전체 교체는 빈 결과여도 종속 관계 처리 규칙을 따릅니다. 연결된 관계 행 삭제와 참조 컬럼 비우기를 켜면 링크 테이블 방식 관계는 행을 삭제하고, 외래 키 컬럼 방식 관계는 참조 컬럼을 비웁니다.
이전 파이프라인의 엔티티·관계 출력에 저장된 append는 병합, append-strict는 삽입으로 표시합니다. 모드를 직접 바꾸기 전에는 기존 설정값과 실행 동작을 유지합니다.
입력의 증분·전체 읽기 모드는 같은 옵션 탭에서 지정합니다.