fork

Definition

작업 flow를 분기하여 노드들을 독립된 flow에서 수행합니다.
좌측 [Flow구성]노드 중 [fork]노드를 drag & drop 한 후 Property 항목을 입력합니다. 동시에 수행할 작업을 적절히 선택한 후 워크플로우를 구성하고, 이렇게 분기된 작업은 join으로 합쳐야 합니다.

fork-join으로 구성되는 워크플로우의 특징은 다음과 같습니다.

• 분기된 모든 노드가 종료해야 워크플로우가 succeed 됩니다. 즉, 분기된 노드 중 종료된 작업이 있어도 전체 노드가 종료할 때까지 대기합니다.
• 분기 노드 중 하나라도 실패할 경우 전체 워크플로우가 실패 합니다.

Set

[setting], [scheduler], [parameter] 설정은 [워크플로우] > [생성] > [기본구성]을 참고합니다.

property

[Node Description] 작성 중인 노드명 입력

Example

서울특별시 대기오염 측정정보(출처 : 공공데이터 포털, 2019년 기준) 중 미세먼지(PM10)와 초미세먼지(PM2.5)에 해당하는 데이터를 별도 테이블로 생성합니다.

[Note] 서울특별시 대기오염 측정정보 데이터
서울특별시 보건환경연구원 대기오염측정망시스템에서 제공하는 대기오염 측정정보
출처 : https://www.data.go.kr (공공 데이터 포털)

1. HDFS/Hive 브라우저를 통해 원시데이터 적재 및 테이블 생성

   

   CREATE EXTERNAL TABLE default.air_pollution(

   measurement_day STRING, -- 측정일시

   station_cd STRING, -- 측정소 코드

   metric_cd STRING, -- 측정항목 코드

   medium DOUBLE, -- 평균값

   status INT, -- 측정기 상태

   national INT, -- 국가 기준초과 구분

   local_gov INT ) -- 지자체 기준초과 구분

   COMMENT '서울특별시 대기오염 측정정보(출처 : 공공데이터 포털)'

   ROW FORMAT DELIMITED

   FIELDS TERMINATED BY ','

   LINES TERMINATED BY '\n'

   STORED AS TEXTFILE

   LOCATION '/tmp/ManSample'

2. [executeHive]노드(노드명 : executeHive_sum)로 통계성 테이블 생성(전체 데이터량을 측정소별로 분리)

   

3. fork 노드 연결 및 [executeHive] 노드를 병렬로 연결하여 미세먼지(PM10), 초미세먼지(PM25) 데이터만 추출한 별도 테이블 생성

   • [executeHive_pm10] create table air_pollution_pm10 as select * from air_pollution where air_pollution.metric_cd = '8'
   • [executeHive_pm25] create table air_pollution_pm25 as select * from air_pollution where air_pollution.metric_cd = '9'

   [Note] air_pollution 테이블의 측정항목 코드(metric_cd)는 아래와 같음

   코드	설명
   1	SO2 (아황산가스)
   3	NO2 (이산화질소)
   5	CO (일산화탄소)
   6	O3 (오존)
   8	PM10 (미세먼지:Particulate Matter)
   9	PM2.5 (초미세먼지)

4. [fork]노드 사용할 경우 [join]노드를 사용해서 종료

5. 워크플로우 실행 후 새로운 테이블 생성 확인

   

[Note] Control Node
[Flow구성] 노드 중 decision, fork, join Node를 Control Node라고 합니다.
작업을 수행하기 보다 워크플로우를 Control 하는 용도로 사용합니다.