데이터셋
저장·연결 방식에 맞는 데이터셋을 만듭니다. 만든 뒤에는 상세 화면에서 메타데이터, 스키마, 데이터, 버전, 사용처와 계보를 확인합니다.
유형 선택하기
| 유형 | 사용하는 경우 |
|---|---|
delta | 파일 업로드, 파이프라인 적재, 데이터 버전 관리가 필요합니다. 기본 유형입니다. |
kafka | Kafka 토픽의 실시간 메시지를 수집합니다. |
rest | 외부 REST API를 데이터 소스로 연결합니다. |
object | 파일이나 객체 스토리지의 객체를 데이터 단위로 등록합니다. |
유형은 만든 뒤 바꿀 수 없습니다. 이전 버전의 table 유형은 더 이상 등록할 수 없습니다.
데이터셋 만들기
- 컬렉션이나 폴더에서 항목 추가 → 데이터셋을 선택하고 유형을 고릅니다.
- 기본 정보에서 이름, 별칭, 설명, 태그를 입력합니다.
- 유형별 항목을 입력합니다.
delta: 빈 테이블 또는 PostgreSQL 변경사항 적재를 선택합니다.rest: 하나 이상의 URL을 입력합니다.kafka: 필요한 경우 토픽을 입력합니다.object: 추가 연결 항목 없이 다음 단계로 진행합니다.
object가 아니면 다음을 누르고 컬럼을 추가하거나 JSON·CSV에서 스키마를 가져옵니다.- 만들기를 누릅니다.
- 선택한 컬렉션이나 폴더의 트리와 목록에서 데이터셋을 확인합니다.
기본 field1 컬럼을 유지한 delta 데이터셋은 임시 스키마로 만들기로 저장합니다. 파일을 올릴 때 실제 컬럼으로 초기화할 수 있습니다.
이름 규칙
시스템 이름은 소문자로 시작해야 하며 소문자·숫자·밑줄(_)만 사용할 수 있습니다. 최대 63자이고 분석 엔진 SQL 예약어는 사용할 수 없습니다.
데이터셋·소스·뷰·온톨로지 엔티티·관계는 같은 컬렉션에서 시스템 이름을 함께 검사합니다. 표시용 한글 이름은 별칭에 입력합니다.
데이터셋 상세 화면
| 탭 | 확인하거나 수행하는 작업 |
|---|---|
| 개요 | 이름·별칭·유형·설명·태그·소속과 수집 설정을 확인합니다. |
| 스키마 | 컬럼 구조를 확인하고 편집합니다. |
| 데이터 | 행을 조회하고 SQL·시각화·파일 업로드 작업을 수행합니다. |
| 버전 기록 | 데이터 버전과 메타데이터 변경 이력을 확인합니다. |
| 공유 및 권한 | 사용자·그룹 역할을 관리합니다. |
| 데이터 접근 정책 | 컬럼·행 수준의 접근 범위를 설정합니다. |
| 사용처 | 이 데이터셋을 원본으로 사용하는 온톨로지 엔티티와 관계를 확인합니다. |
| 계보 | 파이프라인 입출력으로 연결된 상류·하류 자산을 확인합니다. |
개요 편집하기
- 데이터셋 상세에서 개요를 엽니다.
- 상세 헤더의 편집을 누릅니다.
- 별칭·설명·태그를 수정합니다.
rest는 URL을,kafka는 토픽을 함께 확인합니다. - 변경사항 저장을 누릅니다.
- 개요와 트리에서 새 표시 정보가 적용되었는지 확인합니다.
시스템 이름과 유형은 만든 뒤 바꿀 수 없습니다.
PostgreSQL 변경사항 적재 설정
PostgreSQL 변경사항 적재를 선택한 delta 데이터셋은 개요에서 연결, 논리 복제, 조정 값을 편집합니다. 기존 PostgreSQL 데이터 연결을 선택하거나 연결 정보를 직접 입력합니다.
연결 설정에는 호스트·포트·데이터베이스·사용자와 비밀번호 시크릿이 포함됩니다. 논리 복제와 조정 설정에서 스키마·테이블·Publication·복제 슬롯, TLS, Fetch timeout, Max changes, Commit interval을 지정합니다.
설정을 저장해도 실행 중인 수집에는 즉시 반영되지 않습니다. 수집 중지 후 다시 수집 시작을 누르고 상태를 확인합니다. 여러 실행은 실행 상태에서 함께 확인합니다.
스키마 탭
컬럼을 추가하거나 이름·타입·NULL 허용 여부를 수정하는 절차와 제약은 데이터셋 스키마에서 확인합니다.
데이터 탭
행 조회, SQL 스크래치 패드, 파일 업로드와 샘플 데이터 채우기는 데이터셋 데이터에서 확인합니다.
기존 데이터셋에 데이터 추가
이 절차는 기존 데이터셋에 파일 업로드하기로 분리했습니다. 기존 북마크를 사용했다면 새 문서에서 스키마 초기화·병합·충돌 조건을 확인합니다.
버전 기록 탭
데이터 버전에서는 데이터 커밋별 스냅샷을 미리 보고 CSV 또는 Parquet로 내려받습니다. 메타데이터 변경에서는 별칭·설명·태그·옵션·스키마를 이전 상태로 복원합니다.
메타데이터 복원은 테이블 데이터를 바꾸지 않습니다. 자산별 복원 범위는 버전 기록에서 확인합니다.
사용처와 계보 확인하기
사용처는 이 데이터셋을 원본으로 사용하는 온톨로지 엔티티와 관계를 표시합니다. 항목의 열기로 온톨로지 빌더의 해당 정의로 이동합니다.
계보는 읽을 수 있는 파이프라인의 입출력을 기준으로 상류·하류 자산을 표시합니다. 깊이 선택, 표시 한계와 빈 상태 해석은 데이터셋 계보에서 확인합니다.
데이터셋을 삭제하거나 구조를 바꾸기 전에 두 탭을 모두 확인합니다.