Main

Workflow 생성

Pipeline에서 제공하는 다양한 노드를 활용하여 Workflow를 구성합니다.

좌측 Node패널에 있는 다양한 데이터편집 노드를 선형으로 연결하고, 노드에서 제공하는 기능으로 데이터 전처리, 샘플링, 피처엔지니어링 등을 수행하여 최종 Dataset을 만드는 것이 일반적인 작업패턴입니다.
또는 [flow구성] 노드를 활용하여 병렬처리, 사용자 작성 code 직접 실행 및 머신러닝 학습 실행을 위한 워크플로우 구성도 가능합니다.
워크플로우 실행으로 생성된 Dataset은 머신러닝/딥러닝 모델개발을 위한 학습데이터로 활용됩니다.

생성화면 구성

Pipeline에서 [워크플로우] > [생성]화면으로 이동합니다. 기본 구성은 다음과 같습니다.

1. 워크플로우 기본정보 : [그룹], [이름], [설명]

   기능	설명
   그룹	워크플로우가 포함된 그룹. 등록된 그룹을 선택하거나, 새로운 그룹명 직접 입력가능
   이름	워크플로우 이름
   설명	워크플로우에 대한 설명

2. 작업버튼 : 워크플로우 생성/편집 작업에 필요한 버튼 모음

   버튼명	설명
   목록에서가져오기	저장된 워크플로우 목록을 팝업하고, 선택한 워크플로우를 화면에 load함
   내보내기	작성중인 워크플로우를 파일로 다운로드(파일명 : export_workflow_YYYY.MM.DD.json)
   불러오기	작성중인 워크플로우 저장여부 선택 후 json 파일로 저장한 워크플로우를 불러옴
   신규생성	작성중인 워크플로우 저장여부 선택 후 Designer 초기화
   저장	작성중인 워크플로우 저장. 필수 입력항목이 비어있는 Component/Node는 붉게 처리되며, 입력 전까지 저장되지 않음
   다른 이름으로 저장	작성중인 워크플로우를 다른 이름으로 저장. 다른 이름으로 저장한 Component/Node의 UUID는 새로 발급되어 기존의 것과 중복되지 않음
   삭제	워크플로우 삭제
   JSON 뷰어	작성한 워크플로우의 JSON 형식 확인
   세션 조회	해당 클러스터의 세션 수행 이력 조회한다(스냅샷/스키마 조회)
   실행	작성한 워크플로우 실행
   정지	실행한 워크플로우 정지

3. Node : 데이터 탐색/전처리 작업 노드 모음으로, 필요한 노드 선택 후 Designer에 Drog & Drop

4. Designer : 워크플로우 생성/편집을 위한 기본화면. Pan 이동 및 마우스 휠을 통해 상하 이동 가능

5. Component : 워크플로우 또는 특정 노드를 실행하기 위해 필요한 속성정보 입력도구

   • Setting, Scheduler, Parameter, Property 등 4개의 탭으로 구성
   • 탭별 필수 입력항목을 빨간색 asterisk(*)로 표기
   • [더보기+]버튼 클릭시 추가 입력할 수 있는 항목 표출됨

6. 스케일 : 작성중인 워크플로우를 확대/축소할 수 있는 도구. Ctrl + 마우스 휠 조작을 통해서도 화면 확대/축소 가능

7. Select Project : 정의 사용목적/방법 등 확인후 작성필요

데이터 스냅샷

데이터 불러오기, 데이터 샘플링, 데이터 처리하기(기본, 고급), 피처엔지니어링에 포함된 노드를 대상으로 데이터프리뷰 기능을 제공합니다. 워크플로우 생성/편집 화면에서 노드 우측 상단 카메라 모양 버튼을 클릭합니다.

속성정보를 정확히 입력했을 경우 선택한 노드 기준으로 [Data], [Overview], [Correlation] 탭을 제공합니다.

Data 탭

1. 스냅샷버튼 선택시 [Data]탭을 기본 화면으로 불러옴
2. 컬럼명, 그래프, 데이터를 보여줌
   • 컬럼명 : 컬럼명, 데이터타입, Data Range 및 group by 결과를 그래프로 보여줌. 컬럼순으로 10개씩 보여주며, [>] 버튼을 눌러 다음 10개 컬럼 조회함. 데이터정렬은 오름차순 기준이며, 컬럼 우측 [▼] 버튼 선택시 내림차순으로 변경
   • 그래프 : 컬럼별 group by 결과를 그래프로 보여줌
   • 데이터 : 컬럼에 포함된 데이터를 그리드 형식으로 보여줌
3. 기능별 상세내역은 다음과 같음
   
   • Column Range : 데이터프리뷰에서 조회하는 컬럼선택. 1~10, 11~20과 같이 10개씩 선택 가능
   • 노드에 있는 스키마의 컬럼/데이터 개수 표출
   • 노드에 있는 데이터를 로컬로 다운로드
   • 데이터프리뷰 화면 최소화
   • 데이터프리뷰 화면 종료

Overview 탭

노드에 포함된 데이터 개요, 컬럼별 요약정보 및 시각화 차트를 불러옵니다.

Dataset Info

데이터셋의 중복값, 결측값과 그 비율을 보여줍니다.

Columns

컬럼별 요약정보와 [Statistics], [Histogram], [Value] 정보를 제공합니다.

1. 컬럼별 요약정보 : Distinct count, Missing, Unique, Outliers, Maximun, Mean, Minimun, Zeros 값과 전체 데이터에 대한 비율정보 제공
   

2. Statistics : 분위수(quantile) 및 기술통계(descriptive statistics) 정보 제공
   

3. Histogram : 선택된 컬럼에 대한 히스토그램 제공
   

4. Value : 선택된 컬럼에 대한 Value정보 제공
   

Correlation 탭

노드에 포함된 데이터의 상관분석 결과를 보여줍니다. 상관계수는 Pearson(기본값), Spearman에서 선택할 수 있으며, 전체 컬럼 중 최대 20개까지만 변수로 선택할 수 있습니다. Columns 드롭다운 버튼에서 선택컬럼 변경시 [Draw] 버튼을 누르면 상관분석 결과를 refresh 합니다.
상관계수의 값이 0에 가까워질 수록 상관관계는 낮아지며, 1에 가까워질 수록 높아집니다.

[Note] 상관분석
상관분석(Correlation Analysis)은 두 변수간에 어떤 선형적 또는 비선형적 관계를 갖고 있는 지를 분석하는 방법이다. 두 변수는 서로 독립적인 관계이거나 상관된 관계일 수 있으며 이때 두 변수간의 관계의 강도를 상관관계(Correlation, Correlation coefficient)라 한다.

• 피어슨 상관 계수(Pearson Correlation Coefficient, PCC) : 두 변수 X 와 Y 간의 선형 상관 관계를 계량화한 수치. r= (x와 y가 함께 변하는 정도) / (x와 y가 각각 변하는 정도)
• 스피어만 상관 계수(Spearman correlation coefficient) : 데이터가 서열척도인 경우 즉 자료의 값 대신 순위를 이용하는 경우의 상관 계수

출처 : 위키백과

프로퍼티

[Flow구성]에 있는 노드를 제외한 모든 노드에서 워크플로우를 디자인 하면서 프로퍼티 정보를 조회할 수 있습니다. 조회할 수 있는 노드마다 설정해야 할 프로퍼티 정보는 다르며, 세부 내용은 노드별 매뉴얼을 참고합니다.

워크플로우 생성/편집 화면에서 노드 우측 상단의 테이블 모양의 버튼을 클릭하면 팝업됩니다.

선택한 노드의 프로퍼티가 정확하게 입력되어 있으면 선택한 노드 시점의 상세정보를 확인할 수 있습니다