Main

Workflow 생성

Batch Pipeline에서 제공하는 다양한 노드를 활용하여 Workflow를 구성한다.

분석대상 원천데이터를 [데이터불러오기], [데이터처리(기본, 고급)], [데이터내보내기]에서 제공하는 노드를 선형으로 연결하여 처리하는 것이 일반적인 패턴이나 [flow 구성]노드를 활용하여 아래와 같은 워크플로우도 구성 가능하다.

• 데이터를 병렬로 처리하거나 선행작업의 결과에 따라 후행작업을 결정해야 하는 패턴
• subworkflow 구성
• 사용자가 직접 작성한 code를 실행하거나 머신러닝 학습을 위한 노드 제공

생성화면 구성

워크플로우 생성화면 구성은 다음과 같다.

① 그룹 : 워크플로우 그룹

② 이름 : 워크플로우 이름

③ 설명 : 워크플로우 에 대한 설명

④ 목록에서 가져오기 : 기존에 작성된 워크플로우 목록을 팝업으로 띄우고 목록에서 선택된 워크플로우를 load한다.

⑤ 내보내기 : 현재작성중인 워크플로우를 파일로 다운로드 한다. (파일명은 export_workflow_YYYY.MM.DD.json)

⑥ 불러오기 : 현재작성중인 워크플로우를 사용자의 의향(저장 여부 확인)에 따라 저장 후 규격에 맞는 JSON파일을 읽어서 화면에 load한다.

⑦ 신규 생성: 현재작성중인 워크플로우를 사용자의 의향(저장 여부 확인)에 따라 저장 후 Designer를 초기화한다.

⑧ 저장: 작성중인 워크플로우를 저장한다. 저장 시 필수 값 확인이 수행되며, 필수 항목이 비어있는 Component / Node는 해당 Object자체가 붉은 계열의 색으로 표시하고 저장 처리는 하지 않는다.

⑨ 다른 이름으로 저장 : 작성중인 워크플로우를 사용자의 의향(저장 여부 확인)에 따라 저장 후 복사한다. 복사된 모든 Component / Node의 UUID는 새로 발급되어 기존의 것과 중복되지 않는다.

⑩ 삭제: 워크플로우를 삭제한다.

⑪ JSON 뷰어 : 작성한 워크플로우의 JSON 형식을 확인한다.

⑫ 세션 조회 : 해당 클러스터의 세션 수행 이력 조회 (스냅샷/스키마 조회)

⑬ 선택된 Component에 해당하는 Node가 드래그 목록으로 노출

⑭ 드래그로 pan 이동 / 휠로 상하조절 가능

데이터 스냅샷

데이터 불러오기, 데이터 처리하기에 포함된 노드에 한해 워크플로우를 디자인 하면서 데이터 내용을 조회 할 수 있다. 워크플로우 생성/편집 화면에서 노드 우측 상단의 카메라 모양의 버튼을 클릭한다.

선택한 노드의 프로퍼티가 정확하게 입력되어 있으면 선택한 노드 기준으로 처리되는 데이터의 샘플(100건)을 확인 할 수 있다.

스키마

데이터 불러오기, 데이터 처리하기에 포함된 노드에 한해 워크플로우를 디자인 하면서 스키마를 조회 할 수 있다. 워크플로우 생성/편집 화면에서 노드 우측 상단의 테이블 모양의 버튼을 클릭한다.

선택한 노드의 프로퍼티가 정확하게 입력되어 있으면 선택한 노드 시점의 스키마를 확인 할 수 있다.